СИСТЕМА МАШИННОГО ЗРЕНИЯ, ПОЗВОЛЯЮЩАЯ ОПРЕДЕЛЯТЬ НЕОДНОРОДНОСТИ ГЛУБИНЫ ОБЪЕКТОВ ИЗОБРАЖЕНИЯ Российский патент 2016 года по МПК H04N13/02 

Перекрестная ссылка на родственные заявки

Настоящая патентная заявка притязает на преимущества по предварительной заявке на патент США 61/436 800 "Система машинного зрения, позволяющая определять неоднородности глубины объектов изображения", зарегистрированной 27 января 2011 г., полный текст которой включен в настоящее описание посредством ссылки.

Область техники, к которой относится изобретение

Настоящее изобретение относится к системам получения и анализа изображений. Настоящее изобретение, в особенности, относится к системе машинного зрения для обнаружения и распознавания неоднородности глубины объектов изображения с использованием вводящих тени источников света разнесенных, неперекрывающихся длин волн.

Уровень техники

Известны промышленные применения систем машинного зрения для получения изображений объекта, распознавания объекта и/или анализа объекта. Эти системы находят многочисленные применения, включая, но не ограничительно, дистанционное обнаружение, определение положения движущегося оборудования, обнаружение объектов в зонах и зазорах, малых для человеческого глаза, обнаружение непредсказуемых или экстремальных погодных условий, обнаружение объектов при малой освещенности и/или локация, при которой человек-наблюдатель не используется. В типовом варианте эти системы машинного зрения могут включать одиночную камеру или, в стереоскопическом применении, использовать, по меньшей мере, две камеры.

В случае применения системы машинного зрения с одиночной камерой изображение захватывается и сегментируется. Затем объект(объекты) или сцена(сцены) изображения анализируются на основе изменений интенсивности изображения. Этот анализ может включать опознавание и/или измерение размеров объекта(объектов) и/или сцены(сцен) изображения. К примеру, кромки и/или области объекта(объектов) или сцены(сцен) изображения определяются на основе изменений интенсивности изображения.

Однако для применения систем зрения, основанных на интенсивности изображения, имеются ограничения. В частности, изменения интенсивности изображения не всегда имеют место при неоднородности глубины объекта(объектов) или сцены(сцен). Соответственно, системы зрения, использующие изменения интенсивности, часто не отражают истинную структуру сцены(сцен) или истинные детали объекта(объектов). В итоге анализ изображения дает неверные или неточные результаты.

В стереосистемах машинного зрения используются, по меньшей мере, две камеры с известной геометрией расположения относительно одного или нескольких объектов или сцен. Камеры параллельно, или одновременно, захватывают отдельные изображения одного и того же объекта(объектов) или одной и той же сцены(сцен). Объект(объекты) или сцена(сцены) изображений затем анализируются на основе различий между изображениями. Этот анализ может включать опознавание и/или измерение размеров объекта(объектов) и/или сцены(сцен) изображений. К примеру, изображения анализируются для установления соответственных точек объекта(объектов) и/или сцены(сцен) на отдельных изображениях. Глубина объекта(объектов) и/или сцены(сцен) изображений может затем устанавливаться в ходе дальнейшего анализа, в частности, с помощью алгоритмов, учитывающих различия между соответственными точками и известную геометрию расположения камеры относительно объекта(объектов) и/или сцены(сцен). Информация о глубине позволяет использовать систему зрения для распознавания и/или измерения размеров объекта(объектов) и/или сцены(сцен) изображений.

Однако для применения систем зрения, основанных на анализе множественных изображений по соответственным точкам, имеются ограничения. К примеру, для того, чтобы извлечь информацию из множественных изображений, соответственные точки изображений должны быть правильно сопоставлены. Однако сопоставление изображений может оказаться очень трудным, а иногда и невозможным, в силу ряда обстоятельств, включая мертвые зоны на одном или нескольких изображениях и/или неверные или неточные допущения в алгоритмах сопоставления. Если изображения не сопоставлены, соответствующая информация не может быть из них извлечена. Далее, алгоритмы анализа изображений эффективно работают в контролируемой среде, например, в лабораторных условиях. Однако в неконтролируемой среде, например, в среде промышленного применения, эти алгоритмы порождают ошибки несогласованности сопоставлений и анализа изображений в силу факторов, включающих, но не ограничительно, изменение условий освещения, изменение характеристик фона, влияние среды, вводящее помехи изображения, и/или движение объекта(объектов). Далее, геометрия и пространственное расположение камер должны быть постоянны для правильного воспроизведения и анализа изображения. Однако геометрию и пространственное расположение камер может оказаться трудно сохранять в некоторых промышленных применениях, к примеру в железнодорожных. Вибрация, смещение рельса и/или смещение шпал на щебне насыпи могут нежелательно изменить геометрию и пространственное расположение камер, что приведет к неточному анализу изображений.

Кроме того, известные системы испытывают затруднения с неоднородностями малой глубины. К примеру, известные системы не замечают или не могут идентифицировать неоднородности малой глубины, так как неоднородности малой глубины могут иметь текстуру или цвет переднего плана, близкие к фону. Подобным же образом известные системы, к примеру, регистрируют контуры на плоской поверхности, которые не отражают истинные границы объекта. В обоих случаях известные системы дают неверные или неточные результаты.

Раскрытие изобретения

Изобретение относится к системе машинного зрения и связанному с ней способу ее использования, с помощью которых эффективно и надежно распознаются и анализируются изображения в условиях промышленного применения. Кроме того, раскрытая система получения и анализа изображений помогает устранить некоторые или все подобные разнообразные источники ошибок, ведущих к неточным результатам.

В частности, изобретение относится к системе машинного зрения, включающей камеру, первый осветительный блок, связанный с камерой и способный испускать свет в первом диапазоне длин волн синхронно с работой камеры, и второй осветительный блок, связанный с камерой и способный испускать свет во втором диапазоне длин волн синхронно с работой камеры, причем первый диапазон длин волн не накладывается на второй диапазон длин волн.

Изобретение, далее, относится к системе получения изображений, включающей узел камеры и узел импульсного осветителя, связанный с узлом камеры и способный испускать свет первой длины волны и свет второй длины волны параллельно и синхронно с работой узла камеры, причем первая длина волны не накладывается на вторую длину волны.

Изобретение, далее, относится к системе машинного зрения для получения изображений, включающей камеру, расположенную на первом расстоянии от объекта; первый импульсный осветитель, функционально связанный с камерой и расположенный на втором расстоянии от объекта, причем первый импульсный осветитель способен испускать свет одной или более первых длин волн синхронно с работой камеры, и второй импульсный осветитель, функционально связанный с камерой и расположенный на третьем расстоянии от объекта, причем второй импульсный осветитель способен испускать свет одной или более вторых длин волн синхронно с работой камеры и параллельно с испусканием света первым импульсным осветителем, при этом одна или более первых длин волн не накладываются на одну или более вторых длин волн, и при этом одна или более первых длин волн и одна или более вторых длин волн накладываются на часть одной или нескольких третьих длин волн света.

Краткое описание графических материалов

ФИГ.1 представляет аксонометрическую проекцию системы получения и анализа изображений согласно одному или нескольким примерам осуществления.

ФИГ.2 представляет аксонометрическую проекцию системы получения и анализа изображений ФИГ.1, иллюстрирующую пример работы системы.

ФИГ.3 представляет график, иллюстрирующий один или несколько примеров длин волн света, испускаемого системой ФИГ.1.

ФИГ.4 представляет график, иллюстрирующий спектральные характеристики камеры, используемой в одном или нескольких примерах осуществления системы ФИГ.1.

Осуществление изобретения

Настоящее изобретение, в общем, относится к системе получения и анализа изображений для обнаружения и распознавания неоднородностей глубины объектов изображения с использованием вводящих тени источников света разнесенных и/или неперекрывающихся длин волн. На ФИГ.1 проиллюстрированы один или несколько примеров осуществления настоящего изобретения. Хотя система получения и анализа изображений описывается для одного или нескольких конкретных применений, например, в железнодорожных системах, следует понимать, что система получения и анализа изображений может быть использована в любом применении машинного зрения, когда желательны и/или нужны получение и анализ изображений. Далее, хотя один или несколько примеров осуществления системы получения изображений могут описываться с указанием на свет синего цвета и/или свет красного цвета, следует понимать, что "синий свет" и/или "красный свет" указаны с иллюстративной целью и в системе получения изображений может быть использован свет с любой длиной волны, включая, например, но не ограничительно, свет любого цвета, свет в некотором диапазоне длин волн, свет одной или нескольких длин волн (например, смесь длин волн), свет, видимый человеческим глазом, и/или свет, не видимый человеческим глазом.

Следует понимать, что "объект" может включать любой стационарный, полустационарный или движущийся объект, элемент, зону или среду, если могут быть желательны получение и/или анализ их изображения с помощью системы получения и анализа изображений. К примеру, объект может включать, но не ограничительно, часть железнодорожного вагона, весь вагон и/или железнодорожную среду. Следует, однако, понимать, что система получения и анализа изображений, раскрытая в настоящем документе, может получать и/или анализировать изображения любого желаемого или подходящего "объекта", если система работает так, как раскрыто в настоящем документе.

На ФИГ.1 проиллюстрированы один или несколько примеров осуществления системы получения и анализа изображений 100. Как показано на ФИГ.1, система получения и анализа изображений 100 может включать систему получения изображений 102. В различных вариантах осуществления система получения изображений 102 включает узел камеры 110 и световой источник 120.

Как показано на ФИГ.1, в различных вариантах осуществления узел камеры 110 включает камеру или цветную камеру 112. В различных вариантах осуществления камера 112 расположена на известном первом расстоянии или расстояниях от объекта или объектов 200. В различных вариантах осуществления камера 112 расположена примерно перпендикулярно к объекту 200. Однако камера может быть расположена под любым углом к объекту или объектам. Далее, в одном или нескольких примерах осуществления узел камеры включает две или несколько камер, расположенных в одной или нескольких позициях, на одном или на нескольких расстояниях и/или под одним или несколькими углами к объекту или объектам. В одном или нескольких примерах осуществления объект 200 может быть стационарным или движущимся. Камера 112 может быть любой известной или разработанной в будущем камерой или устройством захвата изображения, подходящим для работы с системой получения изображений, как описано в настоящем документе.

В различных вариантах осуществления световой источник 120 связан и/или соединен с узлом камеры 110. В различных вариантах осуществления световой источник 120 синхронизирован с камерой 112 узла камеры 110 (например, так, что световой источник 120 может излучать один или несколько световых импульсов примерно в то время, когда камера 112 делает фотоснимок). Следует понимать, что в одном или нескольких примерах осуществления световой источник может излучать один или несколько импульсов, или периодических, или длительных, или постоянных потоков света.

Как показано на ФИГ.1, в различных вариантах осуществления световой источник 120 включает первый осветительный блок или первый импульсный осветитель 130 и второй осветительный блок или второй импульсный осветитель 140. В различных вариантах осуществления первый импульсный осветитель 130 расположен в первой позиции на известном втором расстоянии D₂ и/или под известным первый углом θ₁ относительно объекта 200. Далее, первый импульсный осветитель 130 может быть расположен на известном третьем расстоянии D₃ от узла камеры 110. В различных вариантах осуществления второй импульсный осветитель 140 расположен во второй позиции на известном четвертом расстоянии D₄ и/или под известным вторым углом θ₂ относительно объекта 200. Кроме того, второй импульсный осветитель 140 может быть расположен на известном пятом расстоянии D₅ от узла камеры 110. В одном или нескольких примерах осуществления световой источник может включать три или более осветительных блоков или импульсных осветителей, расположенных в одной или нескольких позициях, на одном или на нескольких расстояниях от узла камеры и от объекта и/или под одним или несколькими углами к объекту. В одном или нескольких примерах осуществления изобретения для достижения желаемых результатов работы системы получения и анализа изображений согласно одному или нескольким примерам осуществления раскрытого изобретения первый импульсный осветитель или осветительный блок и/или второй импульсный осветитель или осветительный блок могут быть расположены на любом расстоянии от объекта, под любым углом к объекту и/или на любом расстоянии от узла камеры. Следует понимать, что любые два или более первых расстояний вторых расстояний D₂, третьих расстояний D₃, четвертых расстояний D₄ и пятых расстояний D₅ могут быть одинаковыми или разными. Следует также понимать, что одинаковыми или разными могут быть первый угол θ₁ и второй угол θ₂.

В различных вариантах осуществления система получения изображений 102 связана с системой анализа 104. К примеру, как показано на ФИГ.1, в различных вариантах осуществления система анализа 104 включает коммуникационный терминал 106. В различных вариантах осуществления коммуникационный терминал 106 приспособлен для связи с коммуникационным терминалом 114 камеры, обеспечивая линию связи для обмена информацией между системой получения изображений 102 и системой анализа 104. В одном или нескольких примерах осуществления коммуникационный терминал, коммуникационный терминал камеры и соединяющая их линия связи могут быть любой известной или разработанной в будущем системой связи, подходящей для передачи информации, включая, но не ограничительно, проводную связь, беспроводную связь, локальную сеть Ethernet и/или универсальную последовательную шину (USB).

В различных вариантах осуществления система анализа 104 включает программируемую компьютерную систему 150, содержащую оперативную память (RAM) 152, машиночитаемый носитель данных или запоминающее устройство - или жесткий диск 154 и процессор 156. В различных вариантах осуществления программируемая компьютерная система 150 хранит и/или выполняет прикладную программу 160 анализа изображений, например, совместно с жестким диском 154. Далее, пользователь может использовать программируемую компьютерную систему 150 для ручного управления системой получения изображений 102 системы получения и анализа изображений 100. В одном или нескольких примерах осуществления программируемая компьютерная система может быть любой известной или разработанной в будущем программируемой компьютерной процессорной системой, пригодной для хранения данных и выполнения прикладной программы анализа изображений. Далее, в одном или нескольких примерах осуществления машиночитаемый носитель данных может быть в любом устройстве хранения данных, способном сохранять данные так, что они могут быть впоследствии считаны компьютерной системой. Примеры устройств с машиночитаемыми носителями могут включать ПЗУ, CD-ROM, CD-R, CD-RW, DVD, DVD-RW, накопители на магнитной ленте, ЗУ на картах флэш-памяти с USB-интерфейсом или любое другое оптическое или иное подходящее устройство хранения данных. Машиночитаемый носитель может также быть распределен по сети, сопряженной или связанной с программируемой компьютерной системой так, что машиночитаемый код или прикладная программа, включая прикладную программу анализа изображений, сохраняется и выполняется в режиме распределенной обработки.

Обратимся теперь к ФИГ.2; в различных вариантах осуществления первый импульсный осветитель 130 излучает свет первой длины волны или первого диапазона длин волн 330. Как показано на ФИГ.2, в различных вариантах осуществления первый импульсный осветитель 130 излучает свет первой длины волны 330 в первой световой плоскости или первом световом пучке 335. В различных вариантах осуществления направляют или иным образом обеспечивают первый световой пучок 335 для освещения объекта 200, который может отбрасывать первую тень 430. В одном или нескольких примерах осуществления свет первой длины волны 330 имеет длину волны синего цвета и, соответственно, может отбрасывать синюю тень 430. Следует, однако, понимать, что свет первой длины волны может соответствовать любому свету, включая, но не ограничительно, свет любого цвета, любой свет, видимый человеческим глазом, любой свет, не видимый человеческим глазом, и/или свет с любой длиной волны. Далее, в одном или нескольких примерах осуществления свет первой длины волны может быть светом одной длины волны, светом в некотором диапазоне длин волн или светом двух или более длин волн (например, смеси длин волн). В одном или нескольких примерах осуществления система получения изображений может включать несколько первых импульсных осветителей, излучающих свет первой длины волны, диапазона длин волн и/или разных длин волн, и расположенных в одной или нескольких позициях, на одном или на нескольких расстояниях от узла камеры и от объекта и/или под одним или несколькими углами к объекту.

В различных вариантах осуществления второй импульсный осветитель 140 излучает свет второй длины волны или второго диапазона длин волн 340. В различных вариантах осуществления свет второй длины волны или второго диапазона длин волн 340 - это свет другой длины волны или диапазона длин волн, которые отнесены, отличны и/или не накладываются на длину волны(волн) света первой длины волны или первого диапазона длин волн 330. Как показано на ФИГ.2, в различных вариантах осуществления второй импульсный осветитель 140 может излучать свет второй длины волны 340 во второй световой плоскости или втором световом пучке 345. В различных вариантах осуществления направляют или иным образом обеспечивают второй световой пучок 345 для освещения объекта 200, который может отбрасывать вторую тень 440. К примеру, в одном или нескольких примерах осуществления свет второй длины волны 340 имеет длину волны красного цвета и, соответственно, может отбрасывать красную тень 440. В различных вариантах осуществления свет, испускаемый вторым импульсным осветителем, - это свет второй длины волны или второго диапазона длин волн, которые отнесены, отличны и не накладываются на первую длину волны(волн) света, испускаемого первым импульсным осветителем. В остальном, следует, однако, понимать, что свет второй длины волны может соответствовать любому свету, включая, но не ограничительно, свет любого цвета, любой свет, видимый человеческим глазом, любой свет, не видимый человеческим глазом, и/или свет с любой длиной волны. Далее, в одном или нескольких примерах осуществления свет второй длины волны может быть светом одной длины волны, светом в некотором диапазоне длин волн, или светом двух или более длин волн (например, смеси длин волн). В одном или нескольких примерах осуществления система получения изображений может включать несколько вторых импульсных осветителей, излучающих свет второй длины волны, второго диапазона длин волн и/или разных длин волн, и расположенных в одной или нескольких позициях, на одном или на нескольких расстояниях от узла камеры и от объекта и/или под одним или несколькими углами к объекту. В одном или нескольких примерах осуществления система получения изображений может включать один или несколько дополнительных импульсных осветителей, излучающих свет отличающейся длины волны, не накладывающейся на импульсы света первого и второго импульсных осветителей.

Третья тень 450 может присутствовать или отбрасываться в различных вариантах осуществления, когда испускается свет первой длины волны 330 и свет второй длины волны 340 и его направляют на объект 200 или иным образом обеспечивают освещение объекта. Третья тень 450 может быть создана светом третьей длины волны 350. Свет третьей длины волны 350 может иметь частотный спектр, накладывающийся на свет первой длины волны 330 и свет второй длины волны 340. Сами по себе, свет третьей длины волны 350 и созданная им третья тень 450 могут присутствовать, когда на объект 200 падают как свет первой длины волны 330, так и свет второй длины волны 340.

На ФИГ.3 приведен график согласования цветов Международной комиссии по освещению (МКО), показывающий зависимость интенсивности света (по оси Y) от длины волны видимого света λ в нанометрах (по оси X) для света различных цветов, включая синий (b), зеленый (g) и красный (r). На ФИГ.4 приведен пример спектральных характеристик светочувствительности цветной камеры.

Как показано на ФИГ.3 и 4, в различных вариантах осуществления свет первой длины волны 330 и свет второй длины волны 340 имеют разнесенные или отличные длины волн. С учетом спектральных характеристик, в различных вариантах осуществления имеются малые - если вообще имеются - зоны цветового перекрытия между светом первой длины волны 330 и светом второй длины волны 340. Таким образом, в различных вариантах осуществления свет первой длины волны 330 не включает длин волн, которые накладываются на свет второй длины волны 340. Однако в различных вариантах осуществления свет первой длины волны 330 и/или свет второй длины волны 340 могут, каждый, накладываться на свет третьей длины волны или третьего диапазона длин волн 350.

Так, из примеров, проиллюстрированных на ФИГ.3 и 4, видно, что в различных вариантах осуществления свет первой длины волны 330, в данном примере - синего цвета (b), имеет длину волны, отличающуюся от света второй длины волны 340, в данном примере - красного цвета (r). Соответственно, в различных вариантах осуществления свет первой длины волны 330 не накладывается на свет второй длины волны 340. Свет первой длины волны 330 и свет второй длины волны 340 могут накладываться на свет третьей длины волны 350, в данном примере - зеленого цвета (g). К примеру, как показано на ФИГ.3 и 4, свет первой длины волны 330 может накладываться на свет третьей длины волны 350 на нижних длинах волн света третьей длины волны 350. Свет второй длины волны 340 может накладываться на свет третьей длины волны 350 на верхних, или больших, длинах волн света третьей длины волны 350.

В процессе работы и применения система получения изображений 102 системы получения и анализа изображений 100 освещает и фотографирует объект 200. Как показано на ФИГ.2, в различных вариантах осуществления имеется объект 200. В различных вариантах осуществления имеется узел камеры 110 для фотографирования объекта 200. В различных вариантах осуществления, когда камера 112 получает команду или активируется для фотографирования объекта 200, первый импульсный осветитель 130 излучает свет первой длины волны 330, направляя на объект 200 первый световой пучок 335. В различных вариантах осуществления свет первой длины волны 330 освещает, по меньшей мере, часть объекта 200. Далее, свет первой длины волны 330 может давать первую тень 430 на неоднородности глубины объекта в некотором направлении, зависящем от расположения первого импульсного осветителя 130 относительно объекта 200. В различных вариантах осуществления второй импульсный осветитель 140 может параллельно, или одновременно, с первым излучать свет второй длины волны 340, направляя на объект 200 второй световой пучок 345. В различных вариантах осуществления свет второй длины волны 340 освещает, по меньшей мере, часть объекта 200. Далее, свет второй длины волны 340 может давать вторую тень 440 на неоднородности глубины объекта 200 в некотором направлении, зависящем от расположения второго импульсного осветителя 140 относительно объекта 200.

В различных вариантах осуществления камера 112 делает фотоснимок, или получает, или захватывает изображение (например, цветное изображение) объекта 200. В различных вариантах осуществления цветное изображение разлагается на три независимых монохромных плоскости изображения объекта 200. В различных вариантах осуществления эти три монохромных плоскости изображения включают, соответственно, плоскость изображения в свете первой длины волны, плоскость изображения в свете второй длины волны и плоскость изображения в свете третьей длины волны, причем свет третьей длины волны 350 накладывается на часть света первой длины волны 330 и часть света второй длины волны 340. Изображение в плоскости изображения первой длины волны может показывать объект 200, освещенный светом первой длины волны 330, и может включать первую тень 430 на неоднородности глубины. Изображение в плоскости изображения второй длины волны может показывать объект 200, освещенный светом второй длины волны 340, и может включать вторую тень 440 на неоднородности глубины. Изображение в плоскости изображения третьей длины волны может показывать объект 200, освещенный как светом первой длины волны 330, так и светом второй длины волны 340, так как длина волны света третьей длины волны 350 может накладываться как на свет первой длины волны 330, так и на свет второй длины волны 340. Далее, изображение в плоскости изображения третьей длины волны может включать третью тень 450 на любой неоднородности глубины, сфотографированной в плоскости изображения первой длины волны и/или плоскости изображения второй длины волны, соответственно. Третья тень 450 в плоскости изображения третьей длины волны может быть менее густой, чем первая тень 430 и/или вторая тень 440, соответственно, в плоскости изображения первой длины волны и/или в плоскости изображения второй длины волны.

Эти три монохромных плоскости изображений, захваченных системой получения изображений 102, могут быть затем проанализированы системой анализа 104 системы получения и анализа изображений 100. К примеру, в различных вариантах осуществления изображение в плоскости изображения первой длины волны, изображение в плоскости изображения второй длины волны и изображение в плоскости изображения третьей длины волны перекрестно сопоставляются и анализируются системой анализа 104. Система анализа 104 может анализировать и перекрестно сопоставлять эти три монохромных плоскости изображения, или изображение в плоскости изображения первой длины волны, изображение в плоскости изображения второй длины волны и/или изображение в плоскости изображения третьей длины волны - для определения и оценки теней и оттененных кромок. В различных вариантах осуществления тени указывают перепад глубин, имеющий место на кромочных пикселях изображения, и ориентацию перепада глубин. В различных вариантах осуществления анализ теней и оттененных кромок дает информацию об объекте 200. К примеру, кромки изображения объекта со структурированными тенями или резкими перепадами глубины, называемые кромками глубины, могут дать более реалистичную и точную сегментацию сцены. Далее, ширина тени может дать информацию о глубине кромки глубины. Относительная глубина оттененной кромки объекта может быть рассчитана по геометрической информации, включая, к примеру, геометрию взаиморасположения камеры 112, импульсного осветителя(осветителей) 130, 140 и объекта 200. В различных вариантах осуществления расчет глубины оттененной кромки дает системные данные для построения количественной карты глубин сфотографированных объекта 200 и/или сцены. Это может дать преимущество, обеспечив системные данные для обнаружения дефектов (например, трещин) в объекте 200.

В качестве дальнейшей иллюстрации работы и применения системы получения и анализа изображений 100 ниже приведен пример системы 100, использующей определенные длины волн и/или цвета света. Соответствующий свет указан только для примера и не подразумевает никаких ограничений. В системе 100 могут быть использованы любые количества, диапазоны или длины волн света в соответствии с описанием, приведенным в настоящем документе.

Например, в различных вариантах осуществления, когда камера 112 активируется для фотографирования объекта 200, первый импульсный осветитель 130 излучает свет первой длины волны 330 (например, свет, имеющий длину волны или диапазон длин волн, ассоциируемые с синим светом), направляя на объект 200 первый световой пучок 335 (например, синий световой пучок). В различных вариантах осуществления свет первой длины волны 330 (например, синий свет) освещает, по меньшей мере, часть объекта 200. Свет первой длины волны 330 (например, синий свет) может давать первую тень 430 (например, синюю тень) на неоднородности глубины объекта в некотором направлении, зависящем от расположения первого импульсного осветителя 130 относительно объекта 200. Параллельно, или одновременно, с первым, в различных вариантах осуществления второй импульсный осветитель 140 излучает свет второй длины волны 340 (например, свет, имеющий длину волны или диапазон длин волн, ассоциируемые с красным светом), направляя на объект 200 второй световой пучок 345 (например, красный световой пучок). В различных вариантах осуществления свет второй длины волны 340 (например, красный свет) освещает, по меньшей мере, часть объекта 200. Далее, свет второй длины волны 340 (например, красный свет) может давать вторую тень 440 (например, красную тень) на неоднородности глубины объекта 200 в некотором направлении, зависящем от расположения второго импульсного осветителя 140 относительно объекта 200.

Три монохромные плоскости изображения могут включать синюю плоскость изображения, красную плоскость изображения и зеленую плоскость изображения. Однако, как обсуждалось выше, в других вариантах осуществления могут захватываться плоскости изображения разных световых длин волн и/или цветов. В различных вариантах осуществления изображение в плоскости изображения первой длины волны (например, в синей плоскости изображения) может показывать объект 200, освещенный светом первой длины волны 330 (например, синим светом), и может включать первую тень 430 (например, синюю тень) на неоднородности глубины. В различных вариантах осуществления изображение в плоскости изображения второй длины волны (например, в красной плоскости изображения) может показывать объект 200, освещенный светом второй длины волны 340 (например, красным светом), и может включать вторую тень 440 (например, красную тень) на неоднородности глубины. В различных вариантах осуществления изображение в плоскости изображения третьей длины волны (например, в зеленой плоскости изображения) может показывать объект 200, освещенный как светом первой длины волны 330 (например, синим светом), так и светом второй длины волны 340 (например, красным светом), так как длина волны света третьей длины волны 350 (например, зеленого света) может накладываться как на свет первой длины волны 330 (например, синий свет), так и на свет второй длины волны 340 (например, красный свет) (см. ФИГ.3 и 4). Кроме того, изображение в плоскости изображения третьей длины волны (например, в зеленой плоскости изображения) может включать третью тень 450 (например, зеленую тень) на любой неоднородности глубины, сфотографированной в плоскости изображения первой длины волны (например, в синей плоскости изображения) и/или в плоскости изображения второй длины волны (например, в красной плоскости изображения), соответственно. В различных вариантах осуществления третья тень 450 (например, зеленая тень) в плоскости изображения третьей длины волны (например, в зеленой плоскости изображения) может быть менее густой, чем первая тень 430 (например, синяя тень) и/или вторая тень 440 (например, красная тень), соответственно, в плоскости изображения первой длины волны (например, в синей плоскости изображения) и/или в плоскости изображения второй длины волны (например, в красной плоскости изображения).

Три монохромных плоскости изображения, захваченные системой получения изображений 102, могут быть затем проанализированы системой анализа 104 системы получения и анализа изображений 100. К примеру, в различных вариантах осуществления изображение в плоскости изображения первой длины волны (например, в синей плоскости изображения), изображение в плоскости изображения второй длины волны (например, в красной плоскости изображения) и изображение в плоскости изображения третьей длины волны (например, в зеленой плоскости изображения) перекрестно сопоставляются и анализируются системой анализа 104. Система анализа 104 может анализировать и перекрестно сопоставлять три монохромных плоскости изображения, или изображение в плоскости изображения первой длины волны (например, в синей плоскости изображения), изображение в плоскости изображения второй длины волны (например, в красной плоскости изображения) и/или изображение в плоскости изображения третьей длины волны (например, в зеленой плоскости изображения), для определения и оценки теней и оттененных кромок. В различных вариантах осуществления тени указывают на перепад глубин, имеющий место на кромочных пикселях изображения, и ориентацию перепада глубин. В различных вариантах осуществления анализ теней и оттененных кромок дает информацию об объекте 200. К примеру, кромки изображения объекта со структурированными тенями или резкими перепадами глубины, называемые кромками глубины, могут дать более реалистичную и точную сегментацию сцены. В качестве другого примера, ширина тени может дать информацию о глубине кромки глубины. В различных вариантах осуществления относительная глубина оттененной кромки объекта может быть рассчитана по геометрической информации, включающей геометрию взаиморасположения камеры 112, импульсного осветителя(осветителей) 130, 140 и объекта 200. В различных вариантах осуществления расчет глубины оттененной кромки дает системные данные для построения количественной карты глубин сфотографированных объекта 200 и/или сцены. Это может дать преимущество, обеспечив системные данные для обнаружения дефектов (например, трещин) в объекте 200.

Раскрытая система получения и анализа изображений имеет несколько преимуществ. В различных вариантах осуществления неоднородности малой глубины подчеркиваются тенями, создаваемыми светом, который испускается узлом импульсного осветителя. Далее, кромки глубины могут отличаться от плоскостных контуров структурированными тенями. Кроме того, в различных вариантах осуществления раскрытая система получения и анализа изображений не требует алгоритма сопоставления для анализа множественных монохромных плоскостей изображения. В различных вариантах осуществления одни и те же пространственные точки проецируются на одни и те же пиксели трех монохромных плоскостей изображения. Причина этого в том, что в различных вариантах осуществления три монохромных плоскости изображения извлекаются из цветного изображения, захваченного одной камерой в один момент времени. Это может помочь устранить значимый источник ошибок при обработке и анализе изображений в стереоскопических системах. Далее, в различных вариантах осуществления раскрытая система получения и анализа изображений более универсальна и требует меньше пространства, чем известные системы. Поскольку три монохромных плоскости изображения захватываются одной камерой, система получения изображений может быть компактнее и/или жестче, чем в стереоскопических системах, использующих, как минимум, две камеры. Кроме того, в различных вариантах осуществления раскрытая система получения и анализа изображений может быть приспособлена для конкретных применений пользователя. К примеру, узел камеры и импульсные осветители узла импульсных осветителей могут быть расположены и/или ориентированы так, чтобы более эффективно обеспечивать распознавание кромок глубины и сегментацию сцены по структурированным теням. Кроме того, в различных вариантах осуществления раскрытая система получения и анализа изображений дает сегментацию объекта изображения, грубую оценку глубин, ассоциируемых с кромками глубины, и точное измерение размеров объекта. Далее, в различных вариантах осуществления раскрытая система получения и анализа изображений обеспечивает точный количественный анализ вдоль кромок глубины и системные данные для построения карты глубин объекта и/или сцены, когда известны геометрические параметры системы изображения, например, геометрия и пространственное взаиморасположение камеры, импульсного осветителя(осветителей) и объекта и/или сцены.

Хотя различные репрезентативные варианты осуществления данного изобретения были описаны выше с определенной степенью конкретизации, специалисты смогут внести многочисленные изменения в раскрытые варианты осуществления без отступления от смысла или объема предмета изобретения, определяемых описанием и формулой изобретения. Сопутствующие ссылочные позиции (например, прилагаемые, сопряженные, присоединенные) должны толковаться расширительно и могут включать промежуточные элементы в соединениях элементов и относительные смещения элементов. Сами по себе, сопутствующие ссылочные позиции не обязательно предполагают, что две элемента непосредственно соединены и находятся в фиксированном положении по отношению друг к другу. В некоторых случаях, в методиках, явно или неявно представленных в настоящем документе, различные шаги и операции описаны в одном возможном порядке работы, но специалистам понятно, что шаги и операции могут быть переставлены, заменены, или устранены без обязательного отступления от смысла или объема настоящего изобретения. Подразумевается, что весь материал, содержащийся в вышеприведенном описании или представленный на сопроводительных чертежах, будет интерпретироваться только как иллюстративный и не ограничивающий. Изменения деталей или структуры могут быть произведены без отступления от смысла настоящего изобретения, определенного в прилагаемой формуле изобретения.

Особенности прикладной программы анализа изображений, описанной в настоящем документе, могут быть реализованы в программном обеспечении, работающем в компьютерной системе. Таким образом, описанная в настоящем документе система может управляться машинными командами, например, программными модулями, которые могут быть выполнены в компьютере. Программные модули могут включать подпрограммы, программы, объекты, элементы, структуры данных и т.п., которые выполняют частные задачи или вводят частные команды. В пакете может быть программа, поддерживающая передачу информации в сети доверительных партнерских сайтов, использующих артефакты.

Компьютеры для применения с системой и различными элементами, описанными в настоящем документе, могут быть программируемыми компьютерами, в частности, специализированными компьютерами или компьютерами общего назначения, которые реализуют систему согласно соответствующим командам. Компьютерная система может представлять собой встроенную систему, персональный компьютер, ноутбук, сервер, большую ЭВМ, сетевой компьютер, карманный компьютер, персональный цифровой секретарь, рабочую станцию и т.п. Могут также быть приемлемы и другие конфигурации компьютерной системы, включающие сотовые телефоны, мобильные устройства,. мультипроцессорные системы, микропроцессорные или программируемые электронные устройства, сетевые ПК, миникомпьютеры и т.п. Предпочтительно, выбранная вычислительная система включает процессор достаточной мощности для эффективного управления одной или несколькими различными системами или функциями.

Система или ее части могут также быть связаны с распределенной вычислительной средой, в которой задачи выполняются устройствами дистанционной обработки, связанными коммуникационной сетью. Для этого система может быть сконфигурирована или связана с несколькими компьютерами в сеть, включая, но не ограничительно, локальную вычислительную сеть, широкомасштабную сеть, беспроводную сеть и Интернет. Таким образом, информация и данные могут передаваться в сети или системе посредством беспроводной связи, жесткого соединения или их сочетания.

Компьютер может также включать дисплей, средства ввода и вывода данных и т.п. Далее, компьютер или компьютеры могут быть оперативно или функционально соединены с одним или несколькими запоминающими устройствами большой емкости, например, но не ограничительно, базой данных. Запоминающее устройство может быть энергозависимым или энергонезависимым и может включать сменный носитель. Система может также включать машиночитаемые носители; это могут быть любые машиночитаемые носители или носитель, который может быть использован для переноса или сохранения требуемых программных команд, доступных для компьютера. Настоящее изобретение может также быть воплощено в виде машиночитаемого кода на машиночитаемом носителе. Для этого машиночитаемый носитель может быть в любом устройстве хранения данных, способном сохранять данные, которые могут быть впоследствии считаны компьютерной системой. Примеры устройств с машиночитаемыми носителями включают ПЗУ, оперативную память, CD-ROM, CD-R, CD-RW, накопители на магнитной ленте, оптические и другие устройства хранения данных. Машиночитаемый носитель может также быть распределен по сети, сопряженной с компьютерной системой так, что машиночитаемый код сохраняется и выполняется в режиме распределенной обработки.

Хотя различные репрезентативные примеры осуществления данного изобретения были описаны выше с определенной степенью конкретизации, специалисты смогут внести многочисленные изменения в раскрытые варианты осуществления без отступления от смысла или объема предмета изобретения, определяемых описанием и формулой изобретения. В некоторых случаях, в методиках, явно или неявно представленных в настоящем документе, различные шаги и операции описаны в одном возможном порядке работы, но специалистам понятно, что шаги и операции могут быть переставлены, заменены или устранены без обязательного отступления от смысла или объема настоящего изобретения. Подразумевается, что весь материал, содержащийся в вышеприведенном описании или представленный на сопроводительных чертежах, будет интерпретироваться только как иллюстративный и не ограничивающий. Изменения деталей или структуры могут быть произведены без отступления от смысла настоящего изобретения, определенного в прилагаемой формуле изобретения.

Изобретение относится к системам машинного зрения. Система машинного зрения включает камеру, выполненную с возможностью захвата в виде одного цветного изображения по меньшей мере части объекта, по меньшей мери части первой тени, по меньшей мере части второй тени и по меньшей мере части третьей тени. Первый осветительный блок связан с камерой, размещен в первом положении относительно объекта и выполнен с возможностью испускать свет в первом диапазоне длин волн синхронно с работой камеры для освещения по меньшей мере части объекта и отбрасывания первой тени. Второй осветительный блок связан с камерой, размещен во втором положении и выполнен с возможностью испускать свет во втором диапазоне длин волн синхронно с работой камеры и, одновременно с испусканием света первым осветительным блоком, освещать по меньшей мере часть объекта и отбрасывать вторую тень, а также, в комбинации с первым осветительным блоком, отбрасывать третью тень. Первый диапазон длин волн не накладывается на второй диапазон длин волн. Система анализа связана с камерой и выполнена с возможностью анализа по меньшей мере трех монохромных плоскостей изображения, полученных из указанного цветного изображения. Технический результат - повышение эффективности и надежности распознавания и анализа изображений, устранение ошибок. 3 н. и 14 з.п. ф-лы, 4 ил.

1. Система машинного зрения, включающая камеру; первый осветительный блок, связанный с камерой, причем первый осветительный блок размещен в первом положении относительно объекта и выполнен с возможностью испускать свет в первом диапазоне длин волн синхронно с работой камеры для освещения по меньшей мере части объекта и отбрасывания первой тени; второй осветительный блок, связанный с камерой, причем второй осветительный блок размещен во втором положении и выполнен с возможностью испускать свет во втором диапазоне длин волн синхронно с работой камеры и, одновременно с испусканием света первым осветительным блоком, освещать по меньшей мере часть объекта и отбрасывать вторую тень, а также, в комбинации с первым осветительным блоком, отбрасывать третью тень; и систему анализа, связанную с камерой, причем первый диапазон длин волн не накладывается на второй диапазон длин волн, а камера выполнена с возможностью захвата в виде одного цветного изображения по меньшей мере части объекта, по меньшей мере части первой тени, по меньшей мере части второй тени и по меньшей мере части третьей тени; при этом система анализа выполнена с возможностью анализа по меньшей мере трех монохромных плоскостей изображения, полученных из указанного цветного изображения.

2. Система по п. 1, отличающаяся тем, что свет первого диапазона длин волн представляет собой свет первого цвета.

3. Система по п. 2, отличающаяся тем, что свет первого цвета представляет собой синий свет.

4. Система по п. 1, отличающаяся тем, что свет второго диапазона длин волн представляет собой свет второго цвета.

5. Система по п. 4, отличающаяся тем, что свет второго цвета представляет собой красный свет.

6. Система по п. 1, отличающаяся тем, что камера выполнена в виде цветной камеры.

7. Система по п. 1, отличающаяся тем, что первый осветительный блок выполнен с возможностью излучать импульсы света в первом диапазоне длин волн синхронно с работой камеры.

8. Система по п. 7, отличающаяся тем, что второй осветительный блок выполнен с возможностью излучать импульсы света во втором диапазоне длин волн синхронно с работой камеры.

9. Система по п. 1, отличающаяся тем, что первый осветительный блок выполнен с возможностью излучать длительный поток света в первом диапазоне длин волн.

10. Система по п. 9, отличающаяся тем, что второй осветительный блок выполнен с возможностью излучать длительный поток света во втором диапазоне длин волн.

11. Система получения изображений, включающая узел камеры; узел импульсного осветителя, размещенный в первом положении относительно объекта, причем узел импульсного осветителя связан с узлом камеры и выполнен с возможностью одновременно испускать свет первой длины волны и свет второй длины волны синхронно с работой узла камеры для освещения по меньшей мере части объекта и отбрасывания первой тени, соответствующей свету первой длины волны, второй тени, соответствующей свету второй длины волны, и третьей тени, соответствующей свету обеих длин волн; и систему анализа, связанную с узлом камеры, причем первая длина волны не накладывается на вторую длину волны, а узел камеры выполнен с возможностью захвата в виде одного цветного изображения по меньшей мере части объекта, по меньшей мере части первой тени, по меньшей мере части второй тени и по меньшей мере части третьей тени; при этом система анализа выполнена с возможностью анализа по меньшей мере трех монохромных плоскостей изображения, каждая из которых содержит свет первой длины волны, свет второй длины волны и свет третьей длины волны, соответственно.

12. Система по п. 11, отличающаяся тем, что узел камеры включает несколько камер.

13. Система по п. 11, отличающаяся тем, что узел импульсного осветителя включает первый импульсный осветитель и второй импульсный осветитель.

14. Система по п. 13, отличающаяся тем, что первый импульсный осветитель выполнен с возможностью излучать свет первой длины волны.

15. Система по п. 14, отличающаяся тем, что второй импульсный осветитель выполнен с возможностью излучать свет второй длины волны.

16. Система по п. 15, отличающаяся тем, что свет первой длины волны находится в диапазоне длин волн света синего цвета, а свет второй длины волны находится в диапазоне длин волн света красного цвета.

17. Система машинного зрения для получения изображений, включающая камеру, расположенную на первом расстоянии от объекта; первый импульсный осветитель, функционально связанный с камерой и расположенный в стороне от указанной камеры на втором расстоянии от объекта, причем первый импульсный осветитель выполнен с возможностью испускать свет одной или более первых длин волн синхронно с работой камеры для освещения по меньшей мере части объекта и отбрасывания первой тени; и второй импульсный осветитель, функционально связанный с камерой и расположенный в стороне от указанной камеры на третьем расстоянии от объекта, причем второй импульсный осветитель выполнен с возможностью испускать свет одной или более вторых длин волн синхронно с работой камеры и параллельно с испусканием света первым импульсным осветителем для освещения по меньшей мере части объекта и отбрасывания второй тени и третьей тени, причем одна или более первых длин волн не накладываются на одну или более вторых длин волн, при этом одна или более первых длин волн и одна или более вторых длин волн, каждая, накладываются на часть одной или более третьих длин волн света, а камера выполнена с возможностью захвата изображения, содержащего по меньшей мере часть объекта, по меньшей мере часть первой тени, по меньшей мере часть второй тени и по меньшей мере часть третьей тени.