СМЕШИВАНИЕ ИНФРАКРАСНОГО ОБЛАКА ТОЧЕК ДАННЫХ И ОБЛАКА ТОЧЕК ДАННЫХ ЦВЕТОВЫХ СОСТАВЛЯЮЩИХ Российский патент 2018 года по МПК G06K9/00 H04N13/00 

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0001] При активном восприятии глубины проектор проецирует шаблоны света, такие как инфракрасные (IR) пятна (dot), для освещения воспринимаемой области. Спроецированные шаблоны захватываются камерой/датчиком (двумя или более в стереосистемах), при этом изображение (изображения) обрабатываются для вычисления карты глубины или подобного, например, из расчета на кадр. Инфракрасное излучение является преимущественным, поскольку цветные (RGB) изображения приводят к очень зашумленным значениям глубины.

[0002] В стереосистемах, стереокамеры захватывают два изображения с разных точек зрения. Затем, например, один способ выполнения оценки глубины с помощью стереопары изображений состоит в нахождении соответствий между изображениями, например, для того чтобы соотнести каждое спроецированное и воспринятое IR пятно в одном изображении с IR пятном-аналогом в другом изображении. Как только сопоставлены, спроецированные шаблоны в изображениях могут быть соотнесены друг с другом и несоответствия между одним или более признаками соотнесенных пятен используются для оценки применительно к этой конкретной паре пятен. Например, плотная карта глубины с исходным (свойственным) разрешением камеры может быть получена посредством сопоставления зоны (например, через окно размером 5х5).

[0003] Тем не менее, не все поверхности очень хорошо отражают IR свет. В результате в любой части изображения, которая соответствует плохо отражающей IR поверхности, в целом отсутствуют достаточные IR данные (например, отраженные пятна) в стереоизображениях для соотнесения друг с другом, и, следовательно, отсутствуют данные глубины или данные глубины являются очень разреженными. Это создает проблему даже при одной двумерной карте глубины; в приложениях облака точек (point), таких как те, что используют данные глубины для построения сетчатого объекта (mesh), недостаток адекватных данных глубины в некоторых областях может быть даже более ощутимым.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Данная сущность изобретения предоставлена, чтобы представить выбор показательных концепций в упрощенной форме, которые дополнительно описываются ниже в подробном описании. Данная сущность изобретения как не предназначена для того, чтобы идентифицировать ключевые признаки или неотъемлемые признаки заявленного предмета изобретения, так и не предназначена для того, чтобы использоваться любым образом, который будет ограничивать объем заявленного предмета изобретения.

[0005] Кратко, один или более различные аспекты описываемого в данном документе предмета изобретения направлены на использование данных цветовых составляющих (например, RGB), чтобы дополнять инфракрасные данные в областях, в которых инфракрасные данные являются разреженными. Один или более аспекты направлены на получение инфракрасных данных с инфракрасными точками данных и данных цветовых составляющих с точками данных цветовых составляющих, соответствующих плоскости изображения. После определения области в инфракрасных данных изображения, которая является разреженной областью, что касается наличия в ней инфракрасных точек данных, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных изображения цветовых составляющих добавляются в структуру данных.

[0006] В одном или более аспектах компонент обработки изображения выполнен с возможностью приема инфракрасных изображений, захваченных по меньшей мере одной инфракрасной (IR) камерой, и красных, зеленых, синих (RGB) изображений-аналогов, захваченных по меньшей мере одной RGB камерой. Компонент смешивания, связанный с или встроенный в компонент обработки изображения, обрабатывает инфракрасные данные, соответствующие инфракрасному изображению, чтобы определять одну или более разреженные области в нем. Для каждой разреженной области компонент смешивания добавляет RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных.

[0007] Один или более аспекты направлены на получение первых IR данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения, и получение первых RGB данных, соответствующих данным облака точек, спроецированным на первую плоскость изображения. Определяется одна или более разреженные инфракрасные области в первых инфракрасных данных и одна или более области-аналоги для разреженных инфракрасных областей в первых RGB данных. По меньшей мере, некоторые RGB данные из одной или более областей-аналогов добавляются в структуру данных. Это может быть выполнено с помощью второго набора IR данных и RGB данных и т.д., чтобы добавить RGB данные в структуру данных в областях, где IR данные являются разреженными.

[0008] Прочие преимущества могут стать очевидными из нижеследующего подробного описания, рассматриваемого совместно с чертежами.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009] Настоящее изобретение иллюстрируется в качестве примера и не ограничивается в сопроводительных чертежах, на которых подобные цифровые обозначения указывают сходные элементы, на которых:

[0010] Фиг. 1 является структурной схемой, представляющей собой примерные компоненты, которые могут быть использованы для дополнения разреженных инфракрасных данных RGB данным, в соответствии с одной или более примерными реализациями.

[0011] Фиг. 2 является представлением примера проецирования пятен в сцене, для получения IR данных в соответствии с одной или более примерными реализациями.

[0012] Фиг. 3 является представлением того, каким образом спроецированные пятна могут быть использованы в сценарии набора из нескольких камер, в соответствии с одной или более примерными реализациями.

[0013] Фиг. 4 является представлением того, каким образом обнаруженные инфракрасные данные могут быть разрежены в зоне, которая плохо отражает IR свет, в соответствии с одной или более примерными реализациями.

[0014] Фиг. 5 является представлением того, каким образом разреженные инфракрасные области могут быть определены из IR данных, в соответствии с одной или более примерными реализациями.

[0015] Фиг. 6 является представлением того, каким образом разреженные области могут быть изменены, в соответствии с одной или более примерными реализациями.

[0016] Фиг. 7 является блок-схемой, представляющей собой примерные этапы, которые могут быть предприняты, чтобы определить разреженные IR зоны и добавить данные из RGB областей-аналогов в структуру данных, как, например, для использования в качестве относящихся к глубине данных, в соответствии с одной или более примерными реализациями.

[0017] Фиг. 8 является структурной схемой, представляющей собой примерную не ограничивающую вычислительную систему или рабочую среду, в которой могут быть реализованы один или более различных описываемых в данном документе вариантов осуществления.

ПОДРОБНОЕ ОПИСАНИЕ

[0018] Различные аспекты описываемой в данном документе технологии в целом направлены на использование RGB данных для оценки данных глубины в областях, где инфракрасные данные являются разреженными. В одном аспекте плотность инфракрасных данных (например, точек, спроецированных из инфракрасного облака точек) оценивается в различных субчастях с тем, чтобы дополнить любую субчасть с низкой плотностью (основанную на IR) RGB данными. Таким образом, смешивание RGB и IR стереоточек, основанное на плотности, обеспечивает облако точек более полными данными глубины.

[0019] В одном аспекте плотность вычисляется по нескольким субчастям двумерной плоскости изображения, соответствующей проекции из инфракрасного облака точек на эту плоскость изображения. Субчасти могут быть скомпонованы в качестве сетки или подобного. Для любой ячейки сетки оценивается плотность инфракрасных точек, и если она слишком низкая, RGB данные точки для этой ячейки сетки сохраняются, в противном случае, RGB данные точки отвергаются. Процесс может быть повторен для такого количества наборов камер (контейнеров (pod)), которое было использовано при захвате данных облака точек в заданной конфигурации.

[0020] Следует понимать, что любые из примеров в данном документе не являются ограничивающими. Например, несмотря на то что в данном документе в качестве примера приводится трехмерное облако точек, захватываемое несколькими скомпонованными контейнерами, описываемая в данном документе технология может быть применена к по меньшей мере одной единичной двумерной карте глубины. Кроме того, несмотря на то что описываются RGB (красный, зеленый синий) данные цветовых составляющих, датчик RGB может быть замещен на или дополнен ультрафиолетовым датчиком для наполнения разреженных IR данных. Если так, то настоящее изобретение не ограничивается любыми конкретными вариантами осуществления, аспектами, концепциями, структурами, функциональными возможностями или примерами, описываемыми в данном документе. Наоборот, любые из вариантов осуществления, аспектов, концепций, структур, функциональных возможностей или примеров, описываемых в данном документе, являются не ограничивающими, и настоящее изобретение может быть использовано различными способами, которые обеспечивают выгоду и преимущества при активном восприятии глубины, обработке облаков точек и изображения в целом.

[0021] Фиг. 1 показывает примерную систему, в которой контейнер 100, содержащий стерео IR камеры 101 и 102, стерео RGB камеры 103 и 104 и проектор 106 (например, IR лазер, дифрагированный на несколько тысяч пятен) захватывает стерео IR изображения и RGB изображения. Отметим, что контейнер 100 является лишь одной примерной компоновкой и что в других компоновках камеры 101-104 могут быть скомпонованы в любой очередности относительно друг друга. Действительно, в одной реализации проектор расположен над камерами. Кроме того, любая из камер и/или проектор могут быть отделены друг от друга, вместо того чтобы являться частью любой конфигурации контейнера; контейнер не требуется. Таким образом, Фиг. 1 является только показывающей компоненты в целях объяснения и ни масштаб, ни относительные размеры, ни относительные положения, ни сочетания устройств внутри корпуса/устройства-контейнера и т.д. не должны подразумеваться из Фиг. 1.

[0022] В примере на Фиг. 1 контейнер 100 связан с (или объединен с) подсистемой 108 или системой захвата изображения. Как правило, управление камерами осуществляется, например, через интерфейс 110 камеры и контроллер 111, для захвата стереоизображений, синхронизированных по времени (например, камеры являются «с синхронизатором видеосигнала»). В одной реализации камеры 101 и 102 захватывают инфракрасные (IR) изображения 114, поскольку IR излучение является высокоэффективным при оценке глубины в меняющихся условиях света и не оказывает влияния на видимый внешний вид сцены. Кроме того, камеры 103 и 104 захватывают стерео RGB изображения 115. Как может быть легко понятно и как иллюстрируется ниже, в некоторых сценариях, таких как в студийной среде, могут присутствовать более чем один такой контейнер и подсистема/система захвата изображения.

[0023] На Фиг. 1 показан проектор 106, который проецирует IR шаблон на сцену, такой как шаблон бликов (spot) (например, пятен) или линейный шаблон, несмотря на то что могут быть использованы другие типы форм и/или шаблонов бликов. Для краткости, далее в целом описываются пятна. Посредством освещения сцены с помощью относительно большого количества распределенных инфракрасных пятен IR камеры 102 и 103 захватывают данные текстуры, как часть инфракрасных данных изображения. Отметим, что проектор 106 показан как связанный с контроллером 112 через интерфейс 116 проектора; любое такое управление может быть настолько простым, как включение и выключение проектора или использование энергосберегающих режимов, тем не менее, осуществимо более сложное управление, такое как пульсация, изменение распределения пятен, изменение интенсивности и/или подобное.

[0024] Фиг. 2 представляет в качестве примера данную концепцию проецирования. Проектор 106, представленный в качестве круга между стереокамерами 101-104, проецирует шаблон пятен на сцену 222. Камеры 101-104 захватывают пятна, по мере того как они отражаются от поверхностей объекта в сцене 222 и (возможно) фона. В целом несоответствие в изображениях, которые видят две камеры, является указывающим расстояние до отражающей поверхности. Отметим, что не подразумевается, что Фиг. 2 представлена в масштабе, как и не передает любые размеры, расстояние, шаблон распределения пятен, плотность пятен и т.д.

[0025] Возвращаясь к Фиг. 1, изображения, захваченные камерами 101-104, предоставляются подсистеме 118 или системе обработки изображения. В некоторых реализациях система 118 обработки изображения и подсистема 104 или система захвата изображения, или их части, могут быть объединены в единое устройство. Например, домашнее развлекательное устройство может включать в себя все компоненты, показанные на Фиг. 1 (как впрочем и другие не показанные). В других реализациях части (или вся) подсистема 104 или система захвата изображения, такие как камеры и проектор, могут быть отдельным устройством, которое связывается с игровой консолью, персональным компьютером, мобильным устройством, специализированным устройством обработки и/или подобным.

[0026] Подсистема 118 или система обработки изображения включает в себя процессор 120 и память 122, содержащую один или более алгоритм обработки изображения, включая алгоритм 124 IR/RGB смешивания, как описывается в данном документе. В целом алгоритм 124 IR/RGB смешивания выводит список 130 или другую подходящую структуру данных, которая включает в себя IR точки и RGB точки с ассоциированными значениями, по которым может быть определена глубина. Также на Фиг. 1 показан интерфейс 132 для подсистемы 118 или системы обработки изображения, как, например, для соединения клавиатуры, игрового контроллера, дисплея, координатно-указательного устройства, микрофона для речевых команд и/или подобного в соответствующих случаях для пользователя, чтобы взаимодействовать с приложением или подобным, которое использует смешенный IR/RGB список 130 точек.

[0027] Фиг. 3 показывает множество контейнеров 300₁-300₄, скомпонованных для захвата изображений объекта (например, человека) с разных ракурсов. Отметим, что несмотря на то что четыре контейнера изображено на Фиг. 3, следует понимать, что любое практическое количество может присутствовать в заданной конфигурации. Например, одна такая конфигурация использует девять контейнеров с двумя наборами из четырех контейнеров на разных высотах окружающих пространство плюс один контейнер над пространством.

[0028] В примере на Фиг. 3 IR и RGB данные изображения, захваченные от каждого из четырех (или более) контейнеров, формируют отдельные IR и RGB облака точек (IR-PC и RGB-PC, соответственно). Данные облака точек предоставляются алгоритму 124 IR/RGB смешивания облака точек для обработки, как описывается в данном документе.

[0029] Как в целом представлено на Фиг. 3, проекторы каждого контейнера проецируют шаблон света (IR пятна) на объект, например человека 330. Отраженный IR свет захватывается в каждом контейнере 300₁-300₄. Тем не менее, как проиллюстрировано на Фиг. 3 (а также в увеличенном виде на Фиг. 4), некоторые поверхности (соответствующие зоне 332) не отражают хорошо IR свет одним примером являются волосы человека, тем не менее многие материалы, ткани и подобное обладают плохими IR отражающими свойствами. Отметим, что пятна на Фиг. 3 и 4 служат лишь в целях иллюстрации и что распределение, общая плотность, размеры и т.д. не предназначены для того, чтобы передавать любую фактическую информацию о размерах, плотности и/или распределении.

[0030] Таким образом, присутствуют разреженные IR данные в зоне 332. Как описывается в данном документе, данный уровень разреженности обнаруживается в тех местах, где он присутствует в изображении, и RGB точки добавляются к областям, где IR точки являются разреженными.

[0031] С этой целью для заданного облака точек данные облака точек могут быть спроецированы на двумерную плоскость изображения с любого заданного ракурса. Таким образом, плоскость изображения для каждого контейнера имеет данные облака точек, спроецированные на нее, причем одна плоскость изображения для IR данных, а другая - для RGB данных. В качестве альтернативы (например, если облако точек отсутствует), каждый кадр IR данных и RGB данных захватывается в качестве двухмерных (2D) изображений на камерах, тем самым из захвата существуют данные плоскости изображения.

[0032] В любом случае, Фиг. 4 показывает то, каким образом 2D изображение 440 может быть разделено на сеткоподобные субчасти для определения плотности отраженных IR пятен, захваченных в нем. Как может быть видно из данного упрощенного примера, плотность является низкой в зоне 332, соответствующей поверхности, которая плохо отражает IR свет. Отметим, что размер сеток и количество сеток не предназначены передавать любой фактический размер, относительный размер, относительное количество и т.д.

[0033] В сущности, может быть использована любая методика для определения местоположения разреженности в подразделах массива, и она не обязательно должна быть основана на сетках, однако сетки обеспечивают простое решение. Например, один простой способ для обнаружения разреженности использует механизм, который считает точки в ячейках сетки. Например, если количество пятен в заданной ячейке сетки ниже порогового значения, тогда данная конкретная ячейка сетки считается разреженной. При таком решении RGB данные для данной сетки берутся с тем, чтобы дополнить разреженные IR данные, для использования по желанию (например, при обнаружении глубины).

[0034] Фиг. 5 показывает, по существу, тот же самый пример, что и на Фиг. 4, за исключением того, что ячейки сетки сдвинуты на основании максимизации разреженности (или, наоборот, максимизации плотности) или на основании некоторых других критериев. Посредством сдвига сеток (и/или растягивания их или укорачивания их по вертикали и/или расширения или сужения их по горизонтали) разные субчасти являются разреженными. Например, на Фиг. 5, присутствует шесть ячеек сетки (областей) рядом с зоной 332, которые вероятно должны быть обнаружены в качестве разреженных, против четырех таких ячеек сетки в примере на Фиг. 4. Отметим, что добавление RGB привносит некоторый шум в восприятие глубины, однако во многих случаях наличие данных глубины с некоторым шумом в области является улучшением в сравнении с отсутствием или наличием лишь очень разреженных данных глубины в этой области.

[0035] Фиг. 6 показывает другую альтернативу, при которой ячейкам сетки может быть произвольным образом выбран размер и/или компоновка, как, например, для увеличения или уменьшения количества добавляемых RGB точек. Например, то, что было единой ячейкой 444 сетки на Фиг. 4, делится на две меньшие ячейки 662 и 664 сетки на Фиг. 6. Это также представлено посредством более жирных линий вокруг этих ячеек, как впрочем и других более мелких ячеек на Фиг. 6. Отметим, что это может быть сделано во время подсчета, например, неразреженная но «едва-выше-пороговой-величины» ячейка может быть подразделена на субобласти для определения, является ли одна часть теперь разреженной, например, относительно уменьшенной пороговой величины, такой как половина пороговой величины, если зона ячейки сетки делиться пополам. Это имеет тенденцию к увеличению добавляемых RGB данных, поскольку иногда то, что было неразреженной ячейкой, может быть разделено на разреженную часть и неразреженную часть. И наоборот, чтобы уменьшить объем добавляемых RGB данных, разреженные, но «едва-ниже-пороговой-величины» ячейки могут быть подразделены для того, чтобы определить, является ли одна часть теперь неразреженной. Оба эти альтернативные варианты могут быть выполнены одновременно.

[0036] Фиг. 7 является блок-схемой, представляющей собой примерные этапы подходящего алгоритма IR-RGB смешивания. В целом алгоритм повторяется из расчета на контейнер (через этапы 702 и 718) для получения полного списка IR точек, дополненных RGB точками в областях, где IR является разреженным (как обнаруживается относительно любого контейнера).

[0037] Этап 702 выбирает контейнер, а этапы 704 и 706 получают 2D IR и RGB плоскости изображения для этого контейнера, например, через проекцию облака точек (или как захваченные на данном контейнере; отметим, что в целях определения плотности может быть использовано только одно из стереоизображений). Этап 708 делит каждое изображение на субчасти, например сетки. Сетки могут быть любого подходящего размера (например, шестнадцать-на-шестнадцать блоков).

[0038] Этап 710 выбирает сетку из IR плоскости изображения и считает в ней IR точки. Этап 712 определяет, является ли плотность сетки низкой, например, посредством оценки количества против пороговой величины. Пороговая величина может быть фиксированным количеством (например, десять), которое является логичным, оцененным или вычисленным для заданной конфигурации контейнеров, плотности шаблона проекции и расстояний до освещаемого объекта, или может меняться на основании статистических методик/анализа, как, например, усреднения и стандартного отклонения. Размер сетки и/или формы (например, квадратная, прямоугольная, треугольная, шестиугольная) и т.п. также могут варьироваться.

[0039] В любом случае, когда обнаруживается разреженная ячейка сетки или подобное на этапе 712, этап 714 добавляет RGB точки из ячейки-аналога сетки в RGB данных плоскости изображения в список или другую подходящую структуру данных. Если не разреженная, тогда достаточно IR данных присутствует в данной области для использования по желанию.

[0040] Этап 716 повторяет процесс для следующей сетки и т.д., до тех пор пока не будут обработаны все сетки. Этап 718 повторяет процесс для других контейнеров, до тех пор пока не будут обработаны все контейнеры.

[0041] Когда контейнеры были обработаны, RGB данные изображения присутствуют в списке или подобном. В списке могут присутствовать дубликаты, которые могут быть удалены через этап 720; (отметим, что в качестве альтернативы дубликаты могут не добавляться на этапе 714). Этап 722 добавляет IR точки (от всех контейнеров) в список, и процесс завершается. Теперь данный список содержит все IR точки плюс RGB точки, где IR данные были разреженными, для любого контейнера.

[0042] Отметим, что в альтернативных реализациях величина разреженности может быть фактором при добавлении RGB. Например, чем ближе IR счет к пороговой величине, тем меньше количество RGB точек, которые могут быть добавлены. Подобным образом, близость RGB точки к IR точки в пространстве координат может определять, добавлять ли данную точку.

[0043] Как может быть видно, описываемое является технологией, посредством которой изображение или облако точек с разреженными IR областями данных могут быть смешены с RGB данными в разреженных областях. Результирующие смешенные данные могут быть использованы для получения значений глубины там, где отсутствуют или присутствуют только разреженные IR области данных.

ПРИМЕРНАЯ РАБОЧАЯ СРЕДА

[0044] Фиг. 8 иллюстрирует пример подходящей вычислительной и сетевой среды 800, в которой относящиеся к компьютеру примеры и реализации, описываемые в данном документе, могут быть реализованы, например. Среда 800 вычислительной системы является лишь одним примером подходящей вычислительной среды и не предназначена для того, чтобы предложить любое ограничение как на объем использования, так и функциональность изобретения. Также вычислительная среда 800 не должна интерпретироваться как обладающая любой зависимостью или требованием касательно любого одного или сочетания компонентов, иллюстрируемых в примерной рабочей среде 800.

[0045] Изобретение является рабочим при многочисленных других общего назначения или специализированного назначения средах или конфигурациях вычислительной системы. Примеры общеизвестных вычислительных систем, сред и/или конфигураций, которые могут подходить для использования с изобретением, включают в себя, но не ограничиваются: персональные компьютеры, серверные компьютеры, переносные или портативные устройства, планшетные устройства, многопроцессорные системы, основанные на микропроцессоре системы, абонентские телевизионные приставки, программируемую потребительскую электронику, сетевые PC, миникомпьютеры, компьютеры класса мэйнфрейм, распределенные вычислительные среды, которые включают в себя любые из вышеприведенных систем или устройств, и подобное.

[0046] Изобретение может быть описано в общем контексте исполняемых компьютером инструкций, таких как программные модули, которые исполняются компьютером. В целом программные модули включают в себя подпрограммы, программы, объекты, компоненты, структуры данных и т.д., которые выполняют конкретные задачи или реализуют конкретные абстрактные типы данных. Изобретение также может быть реализовано на практике в распределенных вычислительных средах, в которых задачи выполняются посредством удаленных устройств обработки, которые связаны посредством сети связи. В распределенной вычислительной среде программные модули могут быть расположены в локальных и/или удаленных компьютерных запоминающих носителях информации, включающих в себя запоминающие устройства памяти.

[0047] Со ссылкой на Фиг. 8, примерная система для реализации различных аспектов изобретения может включать в себя вычислительное устройство общего назначения в виде компьютера 810. Компоненты компьютера 810 могут включать в себя, но не ограничиваются, блок 820 обработки, системную память 830 и системную шину 821, которая связывает различные компоненты системы, включая системную память, с блоком 820 обработки. Системная шина 821 может быть любой из нескольких типов структур шины, включающей в себя шину памяти и контроллер памяти, периферийную шину и локальную шину, используя любую из разнообразия архитектур шины. В качестве примера, а не ограничения, такие архитектуры включают в себя шину Архитектуры Промышленного Стандарта (ISA), шину Микроканальной Архитектуры, шину Улучшенной ISA (EISA), локальную шину Ассоциации по Стандартизации в Области Видеоэлектроники (VESA) и шину Межсоединения Периферийных Компонентов (PCI), также известную как шина второго уровня.

[0048] Компьютер 810, как правило, включает в себя разнообразные машиночитаемые носители информации. Машиночитаемые носители информации могут быть любыми доступными носителями информации, доступ к которым может быть осуществлен посредством компьютера 810, и включают в себя как энергозависимые, так и энергонезависимые носители информации, и съемные и несъемные носители информации. В качестве примера, а не ограничения, машиночитаемые носители информации могут быть выполнены в виде компьютерных запоминающих носителей информации и средств связи. Компьютерные запоминающие носители информации включают в себя энергозависимые и энергонезависимые, съемные и несъемные носители информации, реализованные любым способом или по любой технологии для хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные запоминающие носители информации включают в себя, но не ограничиваются, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические дисковые хранилища, магнитные кассеты, магнитную ленту, магнитное дисковое хранилище или другие магнитные запоминающие устройства или любой другой носитель информации, который может быть использован для хранения требуемой информации и доступ к которому может быть осуществлен посредством компьютера 810. Среда связи, как правило, воплощает машиночитаемые инструкции, структуры данных, программные модули или другие данные в модулированном сигнале данных, таком как несущая волна или другой транспортный механизм, и включает в себя любые средства доставки информации. Понятие «модулированный сигнал данных» означает сигнал, который обладает одной или более своими характеристиками, установленными или измененными таким образом, чтобы кодировать информацию в сигнале. В качестве примера, а не ограничения, средства связи включают в себя проводные средства, такие как проводную сеть или непосредственное проводное соединение, и беспроводные средства, такие как акустические, RF, инфракрасные и другие беспроводные средства. Сочетание любого из вышеприведенного также может быть включено в объем машиночитаемых носителей информации.

[0049] Системная память 830 включает в себя компьютерные запоминающие носители информации в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство 831 (ROM) и запоминающее устройство 832 с произвольной выборкой (RAM). Базовая система 833 ввода/вывода (BIOS), содержащая основные подпрограммы, которые способствуют переносу информации между элементами в компьютере 810, как, например, во время запуска, как правило, хранится в ROM 831. RAM 832, как правило, содержит данные и/или программные модули, которые являются непосредственно доступными и/или в настоящий момент выполняются в блоке 820 обработки. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует операционную систему 834, прикладные программы 835, другие программные модули 836 и данные 837 программы.

[0050] Компьютер 810 также может включать в себя другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации. Только в качестве примера, Фиг. 8 иллюстрирует накопитель 841 на жестком диске, который считывает с или записывает на несъемные энергонезависимые магнитные носители информации, накопитель 851 на магнитном диске, который считывает с и записывает на съемный, энергонезависимый магнитный диск 852, и накопитель 855 на оптическом диске, который считывает с или записывает на съемный энергонезависимый оптический диск 856, такой как CD-ROM или другие оптические носители информации. Другие съемные/несъемные энергозависимые/энергонезависимые компьютерные запоминающие носители информации, которые могут быть использованы в примерной рабочей среде, включают в себя, но не ограничиваются, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, цифровые видеоленты, твердотельное RAM, твердотельное ROM и подобное. Накопитель 842 на жестком диске, как правило, соединен с системной шиной 821 посредством интерфейса несъемной памяти, такого как интерфейс 840, а накопитель 851 на магнитном диске и накопитель 855 на оптическом диске, как правило, соединены с системной шиной 821 посредством интерфейса съемной памяти, такого как интерфейс 850.

[0051] Накопители и их ассоциированные компьютерные запоминающие носители информации, описанные выше и проиллюстрированные на Фиг. 8, обеспечивают хранилище машиночитаемых инструкций, структур данных, программных модулей и других данных для компьютера 810. На Фиг. 8, например, накопитель 841 на жестком диске иллюстрируется как хранящий операционную систему 844, прикладные программы 845, другие программные модули 846 и данные 847 программы. Отметим, что эти компоненты могут быть либо точно такими же, либо отличаться от операционной системы 834, прикладных программ 835, других программных модулей 836 и данных 837 программы. Операционной системе 844, прикладным программам 845, другим программным модулям 846 и данным 847 программы даны в данном документе другие номера с тем, чтобы проиллюстрировать то, что, по минимуму, они являются разными копиями. Пользователь может вводить команды и информацию в компьютер 810 посредством устройств ввода, таких как планшет или электронный цифровой планшет, 864, микрофон 863, клавиатура 862 и координатно-указательное устройство 861, обычно именуемое манипулятором типа мышь, шаровым манипулятором или сенсорной панелью. Другие устройства ввода, не показанные на Фиг. 8, могут включать в себя игровой манипулятор, игровую панель, спутниковую антенну, сканер или подобное. Эти и другие устройства ввода обычно соединяются с блоком 820 обработки посредством интерфейса 860 ввода пользователя, который связан с системной шиной, однако может быть соединен посредством другого интерфейса и структур шины, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Монитор 891 или другой тип дисплейного устройства также соединен с системной шиной 821 через интерфейс, такой как видеоинтерфейс 890. Монитор 891 также может быть интегрирован с панелью сенсорного экрана или подобным. Отметим, что монитор и панель сенсорного экрана могут быть физически связаны с корпусом, в который заключено вычислительное устройство 810, как, например, в персональном компьютере планшетного типа. В дополнение, компьютеры, такие как вычислительное устройство 810, также могут включать в себя другие периферийные устройства вывода, такие как громкоговорители 895 и принтер 896, которые могут быть соединены посредством периферийного интерфейса 894 вывода или подобного.

[0052] Компьютер 810 может работать в сетевой среде, используя логические соединения с одним или более удаленными компьютерами, такими как удаленный компьютер 880. Удаленный компьютер 880 может быть персональным компьютером, сервером, маршрутизатором, сетевым PC, одноранговым устройством или другим общим сетевым узлом и, как правило, включает в себя многие или все элементы, описанные выше в отношении компьютера 810, несмотря на то что только запоминающее устройство 881 памяти было проиллюстрировано на Фиг. 8. Логические соединения, изображенные на Фиг. 8, включают в себя одну или более локальные сети 871 (LAN) и одну или более глобальные сети 873 (WAN), но также могут включать в себя другие сети. Такие сетевые среды являются обычным явлением в офисах, корпоративных компьютерных сетях, интрасетях и Интернете.

[0053] При использовании в LAN сетевой среде, компьютер 810 соединяется с LAN 871 посредством сетевого интерфейса или адаптера 870. При использовании в WAN сетевой среде компьютер 810, как правило, включает в себя модем 872 или другое средство для создания связи через WAN 873, такую как Интернет. Модем 872, который может быть внутренним или внешним, может быть соединен с системной шиной 821 через интерфейс 860 ввода пользователя или другой соответствующий механизм. Компонент 874 беспроводной сети, такой как содержащий интерфейс и антенну, может быть связан посредством подходящего устройства, такого как точка доступа или одноранговый компьютер, с WAN или LAN. В сетевой среде программные модули, изображенные как относящиеся к компьютеру 810, или их части могут храниться на удаленных запоминающих устройствах памяти. В качестве примера, а не ограничения, Фиг. 8 иллюстрирует удаленные прикладные программы 885, как размещенные на устройстве 881 памяти. Должно быть понятно, что показанные сетевые соединения являются примерами и другие средства создания линии связи между компьютерами могут быть использованы.

[0054] Вспомогательная подсистема 899 (например, для вспомогательного отображения контента) может быть соединена через интерфейс 860 пользователя с тем, чтобы обеспечить возможность предоставления пользователю данных, таких как содержимое программы, статус системы и уведомления событий, даже если главные части компьютерной системы находятся в состоянии низкого энергопотребления. Вспомогательная подсистема 899 может быть соединена с модемом 872 и/или сетевым интерфейсом 870 с тем, чтобы обеспечить возможность связи между этими системами, в то время как основной блок 820 обработки находится в состоянии низкого энергопотребления.

[0055] В качестве альтернативы или в дополнение, функциональные возможности, описываемые в данном документе, могут быть выполнены, по меньшей мере частично, посредством одного или более логических компонентов аппаратного обеспечения. Например, без ограничения, иллюстративные типы логических компонентов аппаратного обеспечения, которые могут быть использованы, включают в себя Программируемые Вентильные Матрицы (FPGA), Проблемно-ориентированные Интегральные Микросхемы (ASIC), Проблемно-ориентированные Стандартные продукты (ASSP), системы вида Система на кристалле (SOC), Комплексные Программируемые Логические Устройства (CPLD) и т.д.

ЗАКЛЮЧЕНИЕ

[0056] Несмотря на то что в отношении изобретения допустимы различные модификации и альтернативные конструкции, некоторые его иллюстрируемые варианты осуществления показаны на чертежах и были подробно описаны выше. Следует понимать, тем не менее, что отсутствует намерение ограничить изобретение конкретными раскрытыми формами, а наоборот, намерение состоит в охвате всех модификаций, альтернативных конструкций и эквивалентов, лежащих в рамках сущности и объема изобретения.

Изобретение относится к смешиванию инфракрасного облака точек данных и облака точек данных цветовых составляющих. Техническим результатом является обеспечение оценки данных глубины в областях, где инфракрасные данные являются разреженными. Способ содержит этапы, на которых: получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных; получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих; определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и добавляют некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина. 3 н. и 7 з.п. ф-лы, 8 ил.

1. Способ обработки данных инфракрасного изображения с использованием цветовых данных, содержащий этапы, на которых:

получают данные инфракрасного изображения, соответствующие плоскости инфракрасного изображения, имеющие инфракрасные точки данных;

получают данные цветовых составляющих, соответствующие этой плоскости изображения, имеющие точки данных цветовых составляющих;

определяют область в данных инфракрасного изображения, которая является разреженной областью в плане наличия в ней инфракрасных точек данных; и

добавляют, по меньшей мере, некоторые данные цветовых составляющих, соответствующие точкам данных цветовых составляющих, из области-аналога в данных цветовых составляющих в структуру данных, которая включает в себя инфракрасные точки данных и точки данных цветовых составляющих с ассоциированными значениями, из которых может быть определена глубина.

2. Способ по п. 1, в котором этап, на котором получают плоскость инфракрасного изображения, содержит этап, на котором проецируют данные инфракрасного изображения из облака точек.

3. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область.

4. Способ по п. 1, в котором этап, на котором добавляют, по меньшей мере, некоторые данные цветовых составляющих, содержит этап, на котором добавляют объем данных цветовых составляющих на основе уровня разреженности упомянутой области.

5. Способ по п. 1, дополнительно содержащий этап, на котором делят упомянутую плоскость изображения на множество областей, включающее в себя одну область, которая содержит упомянутую разреженную область, при этом размер, по меньшей мере, некоторых из этих областей определяется на основе данных плотности.

6. Способ по п. 1, дополнительно содержащий этап, на котором используют инфракрасные точки данных и точки данных цветовых составляющих в упомянутой структуре данных для определения данных глубины.

7. Система для обработки данных инфракрасного изображения с использованием цветовых данных, содержащая:

компонент обработки изображения, причем компонент обработки изображения выполнен с возможностью принимать инфракрасные изображения, захваченные по меньшей мере одной инфракрасной (IR) камерой, и красные, зеленые, синие (RGB) изображения-аналоги, захваченные по меньшей мере одной RGB камерой; и

компонент смешивания, связанный с или встроенный в компонент обработки изображения, причем компонент смешивания выполнен с возможностью обработки данных инфракрасного изображения, соответствующих инфракрасному изображению, чтобы определять в них разреженную область и, для разреженной области, добавлять RGB данные, соответствующие области-аналогу в RGB изображении-аналоге, в структуру данных, которая включает в себя данные инфракрасного изображения и RGB данные с ассоциированными значениями, из которых может быть определена глубина.

8. Система по п. 7, в которой компонент обработки изображения выполнен с возможностью принимать данные инфракрасного изображения, соответствующие данным облака точек инфракрасного изображения, и RGB данные, соответствующие данным облака точек RGB, которые основаны на изображениях от множества наборов стереокамер.

9. Система по п. 7, в которой компонент смешивания выполнен с возможностью добавления RGB данных из по меньшей мере двух разных наборов RGB данных, полученных от двух разных наборов стереокамер.

10. Машиночитаемый носитель информации или логика с исполняемыми компьютером инструкциями, которыми при их исполнении выполняется способ по любому из пп. 1-6.