ДВОЙНОЙ СТЕРЕОСКОПИЧЕСКИЙ ДАТЧИК Российский патент 2019 года по МПК G06T7/20 G06K9/00 G08G1/04 

ОБРАСТЬ ТЕХНИКИ

Раскрытие сущности настоящего изобретения относится к стереоскопическому датчику для захвата высотных изображений контролируемой области. Раскрытие сущности настоящего изобретения также относится к системе и способу для таких стереоскопических датчиков. Раскрытие сущности настоящего изобретения может быть использовано в любой области наблюдения, и преимущественно применимо к наблюдению за движением транспорта или к сбору дорожной пошлины.

УРОВЕНЬ ТЕХНИКИ

Системы наблюдения используются по всему миру для различных целей. Такие цели включают в себя наблюдение за движением транспорта и сбор дорожной пошлины. Наблюдение за движением транспорта может быть использовано, например, для сбора статистических данных о том, как используется дорога, для идентификации схем движения транспорта или для определения неразрешенных транспортных средств, например, в случае предупреждения грузового автомобиля о предстоящем туннеле или мосте с малым габаритом. Сбор дорожной пошлины может быть использован для финансирования частных или общественных дорог и дорожных проектов, или для обеспечения стимула для заполнения всех посадочных мест в транспортном средстве или для использования других маршрутов, для уменьшения выделений транспортных средств в окружающий воздух или уменьшения дорожных пробок в некоторой области. Для обеих этих систем, может оказаться важной способность определять разные типы транспортных средств, например, для обеспечения возможности подачи предупредительных сигналов для разных типов транспортных средств или для использования другой дорожной пошлины только для крупногабаритных транспортных средств. В качестве части систем наблюдения за движением транспорта или сбора дорожной пошлины, наиболее важно обеспечить высокую степень надежности, например, важно, чтобы система не допускала неверной интерпретации размера транспортного средства, не путала тени с реальным транспортным средством или одно транспортное средство с другим транспортным средством.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Для обеспечения более точного или надежного наблюдения, некоторые транспортные системы используют различные технологии для улучшения точности системы. Одной такой технологией является использование стереоскопических камер или датчиков. Стереоскопический датчик содержит первую и вторую камеры, расположенные на расстоянии друг от друга. Обе камеры направлены таким образом, что они имеют область захвата, покрывающую по существу один и тот же сегмент области, т.е. сегмент области, контролируемый стереоскопическим датчиком. Камеры стереоскопического датчика могут быть выполнены с возможностью измерения расстояния. Расстояние может быть измерено, когда камера является точкой отсчета, или от определенной плоскости отсчета. Камеры стереоскопического датчика откалиброваны таким образом, что они имеют плоскость наблюдения, которая выровнена с контролируемым сегментом области, в результате чего плоскость наблюдения указывает на нулевую плоскость, и высота/глубина измеряются с использованием плоскости наблюдения в качестве нулевой плоскости. Стереоскопический датчик использует свою первую и вторую камеру для захвата первого и второго изображения, соответственно, контролируемого сегмента области, причем первая и вторая пара камер захватывают свои изображения одновременно. Любые объекты, которые находятся в плоскости наблюдения, например, тень на дороге, будут иметь одно и то же положение в изображении от первой камеры и в изображении от второй камеры. Любой объект, которые расположен под или над плоскостью наблюдения (например, точка транспортного средства на дороге), будет иметь немного разные положения в изображении от первой камеры и в изображении от второй камеры стереоскопического датчика, причем эта разница возникает вследствие разных углов, под которыми камеры расположены относительно объекта.

С использованием этой технологии, может быть создано высотное/глубинное изображение/карта (далее называемое высотным изображением) контролируемого сегмента области, посредством использования разницы в положении объекта в двух изображениях. Чем дальше находится объект или часть объекта от плоскости наблюдения, тем больше будет разница в положении в двух изображениях. Высотное изображение может быть создано на основании разницы в положении в двух изображениях. Высотное изображение может содержать только информацию об измеренных высотах над плоскостью наблюдения, и может быть обработано таким образом, чтобы границы объекта были раскрыты в высотном изображении.

Стереоскопические датчики и системы со стереоскопическими датчиками используются для контроля движения транспорта, особенно в критических ситуациях, например, в портале для сбора дорожной пошлины или в пункте сбора дорожной пошлины. Стереоскопические датчики и системы с ними могут быть применены в других применениях, например, для контроля торговых центров, мест стоянки, аэродромов и любых других мест, где высотное изображение контролируемой области является преимуществом. Стереоскопические датчики могут захватывать единственные изображения или могут быть использованы для захвата последовательностей кинокадров. Информация в высотном изображении может быть использована для измерения высоты, позиционирования и классификации объектов, таких как, например, транспортные средства, самолеты, люди и любые другие движущиеся или статические объекты, в зависимости от предпочтительного применения.

Целью раскрытия сущности настоящего изобретения является представление стереоскопического датчика, который способен покрыть большие области и вместе с тем обеспечить высокую точность.

Стереоскопический датчик содержит первую пару камер для захвата первого и второго изображения, т.е. первой пары изображений, причем упомянутые изображения могут быть переработаны в высотное изображение. Стереоскопический датчик выполнен с возможностью контроля и определения главной зоны наблюдения в плоскости наблюдения на заданном расстоянии от стереоскопического датчика. Плоскость наблюдения продолжается в направлении Х и направлении Y. Первая пара камер определяет первую зону наблюдения с первичным покрытием в первом направлении от спроецированного установочного положения стереоскопического датчика, и вторичным покрытием во втором направлении от спроецированного установочного положения. Спроецированное установочное положение определено в виде положения вдоль направления Х плоскости наблюдения. Первое и второе направления являются противоположно направленными. А именно, спроецированное установочное положение является положением в плоскости наблюдения, над которым обеспечен стереоскопический датчик. Обычно, в этом контексте, термин «над» относится к направлению Z, которое является перпендикулярным направлению Х и направлению Y.

Стереоскопический датчик дополнительно содержит вторую пару камер для захвата первого и второго изображения, т.е. второй пары изображений, причем упомянутые изображения могут быть переработаны в высотное изображение. Вторая пара камер определяет вторую зону наблюдения с первичным покрытием в плоскости наблюдения во втором направлении от спроецированного установочного положения, и вторичным покрытием в первом направлении от спроецированного установочного положения. Вторичное покрытие первой и второй пар камер перекрывается с первичным покрытием другой пары камер, соответственно.

Раскрытый стереоскопический датчик, снабженный первой и второй парой камер, как определено, обеспечивает большую область наблюдения, однако при этом стереоскопический датчик должен находиться как можно ближе к контролируемой области. Камера обычно покрывает большую область, и она должна быть обеспечена дальше от покрываемой области или должна быть снабжена широкоугольным объективом.

Дополнительно, две пары камер и их установка обеспечивают область перекрытия, т.е. область, покрытую как первой, так и второй камерой, и, таким образом, покрытую четырьмя камерами. Установка стереоскопического датчика с первой и второй парой камер таким образом, чтобы он был снабжен областью перекрытия, позволяет стереоскопическому датчику обеспечивать улучшенную точность данных в области перекрытия, вследствие двойного покрытия. Улучшенная точность может быть использована для детектирования тяг буксирного устройства грузового автомобиля с прицепом, для корректной идентификации транспортного средства в качестве грузового автомобиля и прицепа, а не двух отдельных транспортных средств. Обычно, такое детектирование может быть проблематичным, вследствие того, что тяга буксирного устройства является относительно небольшим объектом, близким к земле, и должна быть обеспечена высокая точность для выполнения корректного детектирования. Дополнительно, только две тяги являются видимыми для стереоскопического датчика прямо под датчиком, вследствие их положения далеко внизу в малом пространстве между грузовым автомобилем и прицепом, таким образом, с других углов, отличных от направления по существу прямо сверху, вид тяги буксирного устройства блокирован грузовым автомобилем и прицепом. Высокая точность в области перекрытия дополнительно обеспечивает иллюстративные эффекты, состоящие в более точных измерениях объема (высоты, ширины, и длины), скорости и расстояния, а также предотвращаются ложные высотные элементы изображения. В иллюстративном варианте осуществления, два транспортных средства, движущиеся близко друг к другу, например, в дорожной пробке, могут быть корректно идентифицированы в качестве отдельных транспортных средств.

Аналогично вышеуказанному, следует отметить, что использование стереоскопического датчика не обязательно ограничено использованием наблюдения на секции дороги, и он может быть использован также для других целей наблюдения. Однако, стереоскопический датчик является особенно подходящим для контроля движения транспорта и транспортных ситуаций.

В одном иллюстративном варианте осуществления, спроецированное установочное положение в области наблюдения обеспечено прямо под стереоскопическим датчиком, причем иллюстративное преимущество состоит в том, что стереоскопические датчики, перекрывающие область, будут обеспечены там, где стереоскопический датчик контролирует объекты прямо сверху. В этом контексте, выражение «прямо под» относится к направлению, перпендикулярному зоне наблюдения.

Таким образом, в одном иллюстративном варианте осуществления, спроецированное установочное положение по существу соответствует положению области перекрытия, если смотреть в направлении Х.

Согласно иллюстративному варианту осуществления стереоскопического датчика, область перекрытия содержит около 10% всей главной зоны наблюдения. В других иллюстративных вариантах осуществления, область перекрытия может быть большей, например, может составлять 15%, 20%, 25% или 30% зоны наблюдения, или может быть меньшей, например, может составлять 5% зоны наблюдения. Размер области перекрытия является компромиссом с размером главной зоны наблюдения, которая становится меньшей при большей области перекрытия, при том же самом расстоянии между стереоскопическим датчиком и плоскостью наблюдения.

В одном иллюстративном варианте осуществления, каждая из пар камер направлена к плоскости наблюдения под углом, отличным от угла воображаемой линии, расположенной перпендикулярно плоскости наблюдения.

Обычно, первое направление и второе направление продолжаются в противоположных направлениях от спроецированного установочного положения.

Другими словами, в иллюстративных вариантах осуществления раскрытия сущности настоящего изобретения, перекрытие покрытия двух пар камер продолжается за пределами спроецированного установочного положения, если смотреть в направлении Х. Это увеличивает разрешение в областях прямо под камерами. Спроецированное установочное положение может, обычно, хотя и не строго обязательно, соответствовать средней точке области наблюдения.

Согласно некоторым иллюстративным вариантам осуществления стереоскопического датчика, стереоскопический датчик снабжен электронным блоком управления и выполнен с возможностью обработки изображений, захваченных первой и второй парами камер, для создания высотного изображения. Иллюстративный эффект этого состоит в том, что высотное изображение, отправляемое от стереоскопического датчика, может иметь гораздо меньший размер без потери какой-либо информации, по сравнению с ситуацией, в которой каждое отдельное изображение отправлялось бы от стереоскопического датчика.

Обычно, блок управления выполнен с возможностью объединения первого высотного изображения, вырабатываемого из изображений от первой пары камер, и второго высотного изображения, вырабатываемого из изображений от второй пары камер, в одно объединенное высотное изображение, причем упомянутое объединенное высотное изображение содержит область перекрытия.

Другая цель достигается системой для наблюдения, причем система для наблюдения снабжена по меньшей мере одним из вышеупомянутых раскрытых вариантов осуществления стереоскопического датчика. Система наблюдения дополнительно содержит центральную систему, включающую в себя электронный блок управления. Центральная система может быть снабжена внутренней памятью и/или запоминающим устройством и/или устройством связи и/или упомянутым электронным блоком управления и/или дополнительным электронным блоком управления, для выполнения разнообразных задач, таких как передача результатов по сети к органу правопорядка, или для запоминания данных в базе данных для статистических целей, для целей наблюдения или сбора дорожной пошлины, для выполнения обработки изображений, и может быть использована для переработки захваченных изображений в высотные изображения. Устройства центральной системы могут быть расположены локально вблизи стереоскопического датчика, могут быть физически прикреплены к нему, или могут быть расположены в местоположении, удаленном от стереоскопического датчика. Центральная система может также подразделяться на одно или несколько локальных и удаленных устройств.

В одном иллюстративном варианте осуществления системы наблюдения, она может быть снабжена одним или множеством дополнительных стереоскопических датчиков. Это обеспечивает иллюстративный эффект, состоящий в том, что система наблюдения может контролировать множество главных зон наблюдения, т.е. в случае наблюдения за движением транспорта или наблюдения за сбором дорожной пошлины, система может контролировать каждую полосу движения дороги независимо, посредством направления каждого стереоскопического датчика на соответствующую полосу движения на дороге.

Согласно иллюстративным вариантам осуществления системы наблюдения, стереоскопический датчик устанавливается на портале и обеспечивает плоскость наблюдения на поверхности дороги под порталом.

Обычно, стереоскопический датчик расположен на заданном расстоянии, по существу перпендикулярно от области перекрытия, если смотреть в направлении Z.

Другая цель достигается способом для управления системой наблюдения согласно любому из иллюстративных вариантов осуществления, раскрытых выше. В способе, блок управления управляет системой для захвата первого и второго изображения первой парой камер, обработки первого и второго изображений от первой пары камер для создания первого высотного изображения, захвата первого и второго изображения второй парой камер, обработки первого и второго изображений от второй пары камер для создания второго высотного изображения, и объединения первого и второго высотных изображений в одно объединенное высотное изображение, раскрывающее как первую область наблюдения, так и вторую область наблюдения, причем в области перекрытия используется среднее значение первого и второго высотных изображений. Все четыре изображения (первое и второе изображение от соответствующей пары камер), которые перерабатываются в высотное изображение, захватываются одновременно для создания высотного изображения.

Иллюстративный эффект раскрытого способа состоит в том, что посредством объединения первого и второго высотных изображений от соответствующих пар камер в объединенное высотное изображение, высотное изображение всей главной зоны наблюдения может быть обеспечено, несмотря на использование двух отдельных пар камер, контролирующих разные первую и вторую зоны наблюдения. Дополнительный иллюстративный эффект обеспечен посредством усреднения значения первого и второго высотных изображений в области перекрытия высотного изображения, в результате чего область перекрытия будет более точной.

Согласно некоторым иллюстративным вариантам осуществления способа, блок управления дополнительно управляет системой для: детектирования элемента изображения, имеющего высоту, соответствующую упомянутой плоскости наблюдения в первом высотном изображении в области перекрытия, сравнения высоты в элементе изображения, соответствующем детектированному элементу изображения, во втором высотном изображении в области перекрытия, и настройки высоты в упомянутом втором высотном изображении в соответствии с плоскостью наблюдения, если элемент изображения во втором высотном изображении классифицирован с высотой над плоскостью наблюдения. Иллюстративный эффект этого иллюстративного варианта осуществления состоит в том, что элемент изображения, который некорректно определен с высотой в первом высотном изображении, может быть скорректирован с использованием другого изображения.

Согласно некоторым вариантам осуществления способа, блок управления дополнительно управляет системой для: отправки первой и второй пары изображений от стереоскопического датчика к центральной системе, и, причем, центральная система перерабатывает первую и вторую пары изображений в соответствующее высотное изображение. Иллюстративный эффект этого порядка работы состоит в том, что высотные изображения создаются в централизованном местоположении, в результате чего отдельный датчик не должен снабжаться средством обработки изображений, способным выполнять процессы объединения отдельных изображений в одно высотное изображение.

Согласно некоторым иллюстративным вариантам осуществления способа, первая и вторая пары изображений могут быть сжаты перед отправкой к центральной системе. Иллюстративный эффект этого состоит в том, что меньшая полоса пропускания необходима при обмене данными с центральной системой.

Согласно некоторым иллюстративным вариантам осуществления настоящего изобретения, стереоскопический датчик может перерабатывать первую и вторую пары изображений в соответствующие высотные изображения, и, затем, объединять высотные изображения в объединенное высотное изображение, которое, затем, отправляется к центральной системе. Иллюстративный эффект переработки изображений уже в стереоскопическом датчике состоит в том, что высотное изображение может быть отправлено к центральной системе с гораздо меньшим разрешением, без какой-либо потери информации. Для переработки отдельных изображений от соответствующих пар камер в высотное изображение, изображения должны иметь относительно высокое разрешение; для обеспечения надежного измерения высоты. Следовательно, если изображения отправляются прямо к центральной системе, то изображения должны иметь относительно высокое разрешение, и, дополнительно, от каждого датчика должны быть отправлены 4 такие изображения. Когда высотное изображение получено, оно может быть сжато без потери высотной информации, в результате чего от каждого стереоскопического датчика может быть отправлено только одно изображение (высотное изображение), содержащее ту же самую информацию, что и четыре обычные большие изображения, если бы отправлялись все четыре изображения.

Термин «высотное изображение», в общем, относится к изображению, в котором каждый элемент изображения имеет соответствующее значение высоты. Высотное изображение является, например, изображением, раскрывающим высоты над дорогой, секции дороги, покрываемой стереоскопической камерой. В этом типе применения, значение высоты равно нулю для уровня земли, т.е. уровня дороги. Однако, в некоторых случаях, значение высоты устанавливается равным нулю также для неопределенных значений, относящихся к неясным элементам изображения. Таким образом, в некоторых примерах, процесс идентификации высот в высотном изображении может включать в себя этап установления соответствия неясных элементов изображения со значением высоты, равным нулю.

Высотное изображение создается посредством объединения информации из первого изображения, захваченного первой камерой стереоскопической камеры, и второго изображения, захваченного второй камерой стереоскопической камеры.

Другими словами, в контексте настоящего изобретения, «высотное изображение» является изображением, содержащим информацию из первого и второго изображений, и, причем, каждый элемент изображения в высотном изображении имеет соответствующее значение высоты. Атрибут высоты задает высоту изображения, в элементах изображения.

Дополнительно, высотное изображение от одной стереоскопической камеры может быть согласовано, или объединено, с высотным изображением от другой стереоскопической камеры, для образования объединенного высотного изображения, когда координаты высотного изображения согласованы и, таким образом, обычно, синхронизированы друг с другом. Таким образом, одно высотное изображение от одной стереоскопической камеры и другое высотное изображение от другой стереоскопической камеры могут образовывать объединенное высотное изображение.

Обычно, хотя и не строго обязательно, вычисления высоты проводятся на основании информации в объединенном высотном изображении.

Процесс вычисления высот на основании первого и второго изображения является общеизвестным способом и поэтому здесь дополнительно не описан.

Дополнительные иллюстративные варианты осуществления и эффекты устройства, системы и способа раскрыты в нижеследующем описании и в чертежах.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1а-е показывают схематичные виды стереоскопического датчика,

Фиг. 2а-b показывают схематичные виды системы наблюдения,

Фиг. 2с показывает схематичный вид высотного изображения,

Фиг. 3а-b показывают блок-схемы последовательностей операций иллюстративных вариантов осуществления способа.

ПОДРОБНОЕ ОПИСАНИЕ

Со ссылкой на прилагаемые чертежи, ниже приведено более подробное описание иллюстративных вариантов осуществления устройства, системы и способа.

Фиг. 1 раскрывает схематичный вид пары 10, 11 стереоскопических камер, причем пара 10, 11 камер стереоскопического датчика выполнена с возможностью определения зоны 51 наблюдения в плоскости 60 наблюдения. Пара 10, 11 стереоскопических камер содержит первую и вторую камеру 10, 11, которые выполнены с возможностью захвата изображений плоскости 60 наблюдения. Плоскость 60 наблюдения продолжается в Х- и Y- направлении, и пара 10, 11 стереоскопических камер обеспечена на расстоянии от плоскости 60 наблюдения в Z-направлении на фигуре, причем X- Y- и Z-направления являются ортогональными друг другу. Пара 10, 11 стереоскопических камер имеет спроецированное установочное положение 92 в плоскости 60 наблюдения. Расположение пары 10, 11 стереоскопических камер на фиг. 1а может рассматриваться в качестве стандартной установки пары 10, 11 стереоскопических камер.

Камеры 10, 11 откалиброваны таким образом, что они определяют плоскость 60 наблюдения, причем плоскость 60 наблюдения указывает на нулевую плоскость, и высота/глубина измеряются с использованием плоскости 60 наблюдения в качестве нулевой плоскости. Первая и вторая камеры 10, 11 захватывают свои изображения одновременно. Любой объект, который находится в плоскости 60 наблюдения, такой как тень на дороге, будет иметь одно и то же положение в изображении от первой камеры 10 и в изображении от второй камеры 11. Любой объект или часть объекта, которые расположены под или над плоскостью 60 наблюдения (например, часть транспортного средства на дороге), будут иметь немного разные положения в изображении от первой камеры 10 и в изображении от второй камеры 11 стереоскопического датчика. Эта разница возникает вследствие разных углов, под которыми камеры 10, 11 расположены относительно плоскости 60 наблюдения и объекта.

Фиг. 1b-e раскрывают схематичные виды иллюстративного варианта осуществления стереоскопического датчика 100, причем стереоскопический датчик 100 выполнен с возможностью определения главной зоны 150 наблюдения (раскрытой на фиг. 1d и e) в плоскости 160 наблюдения. Плоскость 160 наблюдения соответствует плоскости 60 наблюдения, раскрытой на фиг. 1а. Стереоскопический датчик 100 содержит первую и вторую пары 110, 120 камер. Каждая пара 110, 120 камер соответствует паре 10, 11 камер, раскрытой на фиг. 1а. Каждая из первой и второй пары 110, 120 камер определяет соответствующие первую и вторую зоны 151, 152 наблюдения в плоскости 160 наблюдения. Плоскость 160 наблюдения продолжается в плоскости, определяемой x- и y-осью на фигурах. Стереоскопический датчик 100 расположен на заданном расстоянии D над плоскостью 160 наблюдения в направлении z-оси на фигурах.

Фиг. 1b показывает первую зону 151 наблюдения, определяемую первой парой 110 камер. Фиг. 1с показывает вторую зону 152 наблюдения, определяемую второй парой 120 камер. На фиг. 1d и фиг. 1e раскрыты первая, вторая и главная зоны 151, 152, 150 наблюдения.

Плоскость 160 наблюдения действует в качестве плоскости отсчета при объединении изображений, захваченных парами 110, 120 камер, для создания высотных изображений 170. Таким образом, точка, которая, как определено, находится в плоскости 160 наблюдения, имеет высоту, равную 0, точка над плоскостью 160 наблюдения имеет положительную высоту, равную разности по высоте между точкой и плоскостью 160 наблюдения, и точка имеет отрицательную высоту, если она находится под плоскостью 160 наблюдения. Когда стереоскопический датчик 100 выполнен с возможностью контроля секции дороги, датчик 100 расположен таким образом, что он определяет плоскость 160 наблюдения на уровне поверхности 191 дороги, выровненном с поверхностью 191 дороги, в результате чего высота D датчиков 100 над плоскостью 160 наблюдения равна высоте датчиков над поверхностью 191 дороги.

Как упомянуто здесь, первая пара 110 камер выполнена с возможностью захвата первого и второго изображений, причем упомянутые изображения могут быть переработаны в высотное изображение. Аналогично, вторая пара 120 камер выполнена с возможностью захвата первого и второго изображений, причем упомянутые изображения могут быть переработаны в высотное изображение.

Стереоскопический датчик 100 обеспечен в установочном положении 192 на заданном расстоянии D от плоскости 160 наблюдения. Стереоскопический датчик 100 имеет спроецированное установочное положение 192 в плоскости 160 наблюдения. Спроецированное установочное положение 192 определено в виде положения в Х-направлении, раскрытом в виде линии 192 на фиг. 1а-е и фиг. 2а. Первая и вторая пары 110, 120 камер направлены к плоскости 160 наблюдения пол углом.

В качестве примера, каждая из пар 110, 120 камер направлена к плоскости 160 наблюдения под углом, который является отличным от угла воображаемой линии, расположенной перпендикулярно плоскости 160 наблюдения. В качестве примера, угол любой из пар камер может отклоняться от воображаемой линии, приблизительно, на 2-40 градусов, более предпочтительно, на 4-30 градусов, более предпочтительно, на 5-10 градусов.

Первое и второе направление 161, 162 определены (раскрыты в виде стрелок 161, 162), таким образом, что они оба продолжаются вдоль х-оси в противоположных направлениях от спроецированного установочного положения 192. Первая пара 110 камер направлена в первом направлении 161, а вторая пара 120 камер направлена во втором направлении 158, противоположном первому направлению 162.

Другими словами, первое направление 161 и второе направление 162 продолжаются в противоположных направлениях от спроецированного установочного положения 192.

Первая пара 110 камер стереоскопического датчика 100 определяет первую зону 151 наблюдения в плоскости 160 наблюдения. Первая зона 151 наблюдения продолжается в плоскости 160 наблюдения в первом и втором направлениях 161, 162 от спроецированного установочного положения 192. Первая зона 151 наблюдения имеет первичное покрытие 155 и вторичное покрытие 157. Первичное покрытие 155 определено в виде части первой зоны 151 наблюдения, продолжающейся в первом направлении 161. Вторичное покрытие 157 определено в виде части первой зоны 151 наблюдения, продолжающейся во втором направлении 162.

Спроецированное установочное положение определено здесь как положение вдоль направления Х упомянутой плоскости 160 наблюдения.

Таким образом, вторая пара 120 камер стереоскопического датчика 100 определяет вторую зону 152 наблюдения в плоскости 160 наблюдения. Вторая зона 152 наблюдения продолжается в плоскости 160 наблюдения в первом и втором направлениях 161, 162 от спроецированного установочного положения 192. Вторая зона 152 наблюдения имеет первичное покрытие 156, которое определено в виде части второй зоны 152 наблюдения, продолжающейся во втором направлении 162. Вторичное покрытие 158 определено в виде части второй зоны 152 наблюдения, продолжающейся в первом направлении 161.

Фиг. 1с показывает схематичный вид иллюстративного варианта осуществления стереоскопического датчика 100 и раскрывает главную зону 150 наблюдения, которая определена в виде объединенной области наблюдения первой и второй зон 151, 152 наблюдения.

Фиг. 1d показывает схематичный вид сбоку иллюстративного варианта осуществления стереоскопического датчика 100 и раскрывает главную зону 150 наблюдения в плоскости 160 наблюдения.

Главная зона 150 наблюдения снабжена тремя главными областями в плоскости 160 наблюдения, первой конечной областью 171, определяемой тем, что она покрыта только первой зоной 151 наблюдения, второй конечной областью 172, определяемой тем, что она покрыта только второй зоной 152 наблюдения, и областью 159 перекрытия, которая определяется тем, что область 159 перекрытия покрыта как первой, так и второй зонами 151, 152 наблюдения стереоскопического датчика 100.

Обычно, как видно на фигурах, спроецированное установочное положение по существу соответствует положению области перекрытия 159, если смотреть в направлении Х. Другими словами, стереоскопический датчик расположен на заданном расстоянии D по существу перпендикулярно от области перекрытия, если смотреть в направлении Z.

Иллюстративная установка стереоскопического датчика 100 обеспечена таким образом, что пары 110, 120 камер направлены к плоскости 160 наблюдения под углом относительно упомянутой плоскости 160 наблюдения в первом и втором направлениях 156, 158 соответственно, так что главная зона 150 наблюдения продолжается по существу на одно и то же расстояние, как в первом, так и во втором направлениях 161, 162.

Иллюстративная установка стереоскопического датчика 100 состоит в том, что он установлен, приблизительно, на 6,5 метров выше плоскости 160 наблюдения для определения главной зоны 150 наблюдения симметрично под стереоскопическим датчиком 100. Каждая пара 110, 120 камер обеспечена под углом зрения таким образом, чтобы была обеспечена необходимая главная зона 150 наблюдения и область 159 перекрытия. Иллюстративные длины главной зоны 150 наблюдения в установке для наблюдения за дорогой составляют 25, 30, 35 или 40 метров. Однако, длина главной зоны наблюдения не ограничена конкретными иллюстративными длинами. Иллюстративные длины для области 159 перекрытия составляют, приблизительно, 2, 3, 4, или 5 метров, в зависимости от длины главной зоны 150 наблюдения и цели наблюдения. В иллюстративном варианте осуществления, область 159 перекрытия расположена прямо под стереоскопическим датчиком 100 и в середине главной зоны 150 наблюдения. Область перекрытия может быть в других вариантах осуществления обеспечена с большей областью в первом направлении 161, 162, чем во втором направлении или с противоположной стороны. Эти иллюстративные установки могут быть использованы, когда стереоскопические датчики 100-100_1-100_n обеспечены для контроля дороги, например, для сбора дорожной пошлины или контроля характера движения транспорта. Иллюстративными эффектами, связанными с этой и подобными установками, являются: малая установочная высота стереоскопического датчика 100, широкая главная зона 150 наблюдения, очень надежные измерения в области перекрытия и возможность контроля движения транспорта в обоих направлениях одним и тем же датчиком. Малая установочная высота имеет также иллюстративный эффект, состоящий в том, что камеры номерных знаков как для передних, так и для задних номерных знаков могут быть установлены на одном и том же портале в виде стереоскопического датчика 100, 100_1-100_n. Преимущества не ограничены конкретными мерами, приведенными в иллюстративном варианте осуществления, причем меры могут быть изменены для усиления одного или нескольких эффектов, в зависимости от необходимого применения.

Область 159 перекрытия, которая присутствует во всех вариантах осуществления стереоскопического датчика 100, обеспечивает стереоскопическому датчику 100 иллюстративный эффект, состоящий в увеличенной надежности и более высокой точности в области перекрытия, вследствие того, что информация от двух пар 110, 120 стереоскопических камер используется в высотном изображении над областью 159 перекрытия.

На фиг. 2а, иллюстративный вариант осуществления системы 200 для наблюдения снабжен четырьмя стереоскопическими датчиками 100_1-100_4, которые соответствуют стереоскопическому датчику 100, раскрытому на фиг. 1b-e. Система 200 обеспечена для наблюдения за движением транспорта на дороге, например, для целей сбора дорожной пошлины или наблюдения за характером движения транспорта. Стереоскопические датчики 100_1-100_4 расположены на портале 190 таким образом, что плоскость 160 наблюдения выровнена с поверхностью 191_1, 191_2 четырех полос 193_1-193_4 движения. Стереоскопические датчики 100_1, 100_2, 100_3, 100_4 расположены над соответствующими полосами 193_1-193_4 движения. Стереоскопические датчики 100_1-100_4 определяют первую, вторую и главную зоны 151, 152, 150 наблюдения на соответствующих полосах 193_1-193_4 движения и, таким образом, также область 159 перекрытия. Области 151, 152, 150, 159 наблюдения показаны, однако, только на одной полосе 113_1 дороги для идентификации их положения. Однако, области 151, 152, 150, 159 наблюдения расположены, соответственно, и на других трех полосах 193_2-193_4 движения.

На фиг. 2b схематично раскрыт иллюстративный вариант осуществления системы 200 для наблюдения. Система 200 снабжена четырьмя стереоскопическими датчиками 100_1-100_4, но может быть снабжена любым количеством n стереоскопических датчиков 100_1-100_n. Фактическое количество стереоскопических датчиков 100_n адаптировано к интересующей области наблюдения, большая область обычно требует большего количества стереоскопических датчиков 100_1-100_n. В раскрытом иллюстративном варианте осуществления наблюдения за дорогой, каждый стереоскопический датчик 100_n контролирует одну полосу движения, причем количество стереоскопических датчиков соответствует количеству полос 113_1-113_n движения на дороге. Однако, стереоскопические датчики 100, 100_1-100_n могут быть также выполнены с возможностью контроля нескольких полос движения, или с использованием множества датчиков 100, 100_1-100_n можно контролировать одну полосу движения или ее часть. Иллюстративный эффект одного датчика 100, 100_1-100_n, покрывающего несколько полос движения, состоит в том, что меньшее количество стереоскопических датчиков 100, 100_1-100_n может быть использовано для контроля той же самой области дороги, по сравнению со случаем, когда каждый стереоскопический датчик 100, 100_1-100_n предназначен для каждой полосы 113_1-113_n движения.

В схематичном виде системы 200 для наблюдения за дорогой, раскрыты блок 215 управления и центральная система 220. Центральная система 220 может содержать устройство и функции, такие как запоминающие устройства, обрабатывающие устройства и устройства связи. Центральная система 220 может быть локально расположена вблизи стереоскопического датчика 100_1-100_n или может быть расположена в удаленном местоположении. Связь между стереоскопическими датчиками 100_1-100_n, блоком 215 управления и центральной системой может быть проводной или беспроводной, в зависимости от обстоятельств или предпочтений поставщика/оператора системы. Центральная система 220 может быть также снабжена каналом связи для осуществления доступа к базе данных, серверу или органам правопорядка для передачи данных. Передаваемые данные могут быть, например, статистическими данными наблюдения за движением транспорта, данными, относящимися к сбору дорожной пошлины, или необработанными данными.

Блок 215 управления может быть распределенным или центральным блоком 215 управления. Распределенный блок 215 управления может быть распределен с использованием одного компонента (т.е. блока управления) в каждом стереоскопическом датчике 100_1-100_n и одного компонента в центральной системе 220, для выполнения обработки изображений и других задач обработки, связанных с соответствующим стереоскопическим датчиком 100_1-100_n или центральной системой 220. Альтернативно, система может быть снабжена только одним блоком 215 управления, который управляет процессами всей системы. Дополнительно, система 200 может быть снабжена любым вариантом распределенного и централизованного блока 215 управления с поддерживаемой функциональностью.

Следует отметить, что блок управления может быть частью стереоскопического датчика или отдельной частью системы, связанной с датчиком. Следовательно, во всех иллюстративных вариантах осуществления, стереоскопический датчик 100, 100_1-100_n может быть снабжен блоком 215 управления, который выполнен с возможностью обработки изображений, захватываемых первой и второй парой 110, 120 камер, для создания высотного изображения 170. Дополнительно, блок управления обычно выполнен с возможностью объединения первого высотного изображения, вырабатываемого из изображений от первой пары камер, и второго высотного изображения, вырабатываемого из изображений от второй пары камер, в одно объединенное высотное изображение 171, 172. Таким образом, объединенное высотное изображение содержит область 159 перекрытия.

На фиг. 2а, раскрыта иллюстративная транспортная ситуация с тремя транспортными средствами 141, 142, 143 на двух полосах 193_3 и 193_4 движения дороги, расположенных под стереоскопическими датчиками 100_3, 100_4. Три транспортных средства 141, 142, 143 являются двумя легковыми автомобилями 142, 143 и одним грузовым автомобилем 141 с прицепом 141t. Транспортные средства 141, 142, 143 контролируются стереоскопическими датчиками 100_3 и 100_4.

Фиг. 2с раскрывает два объединенных высотных изображения 171, 172, составленные из изображений, захваченных стереоскопическими камерами 100_3, 100_4 на фиг. 2а. В высотном изображении 171, 172 на фиг. 2с, область 159 перекрытия раскрыта в виде зоны 159ʹ, и главная зона 150 наблюдения раскрыта в виде зоны 150ʹ, и первая зона 151 наблюдения раскрыта в виде зоны 151ʹ, и вторая зона 152 наблюдения раскрыта в виде зоны 152ʹ. Стереоскопические датчики 100_1-100_n либо создают высотные изображения, используемые отдельно, либо создают высотные изображения, объединяемые в объединенное высотное изображение 171, 172, для определения атрибутов транспортных средств 141, 142, 143. Эти атрибуты могут включать в себя высоту, положение, размер, классификацию, расстояние от других транспортных средств и скорость. В высотных изображениях 171, 172 фиг. 2c, раскрыты только объекты, имеющие высоту над плоскостью 160 наблюдения, т.е. тени и/или знаки дорожной разметки не обеспечены в высотных изображениях 171, 172. Объектами с высотой являются грузовой автомобиль 141 и его прицеп 141t и два легковых автомобиля 142, 143.

Теперь, некоторые иллюстративные эффекты стереоскопического датчика 100, 100_1-100_n будут разъяснены с помощью фиг. 2с. В этом примере, легковые автомобили 142, 143 едут близко друг к другу, как в дорожной пробке. Вследствие высокого разрешения области 159ʹ перекрытия в высотных изображениях 171, 172, можно идентифицировать то, что два легковых автомобиля 142, 143 являются двумя отдельными легковыми автомобилями, а не одним объектом. Дополнительно, высокое разрешение в области 159ʹ перекрытия в высотных изображениях 171, 172 позволяет идентифицировать тягу 144 буксирного устройства между грузовым автомобилем 141 и его прицепом 141ʹ, вместо идентификации грузового автомобиля 141 и прицепа 141ʹ как двух отдельных транспортных средств или одного длинного транспортного средства, что может иметь место в отсутствие высокого разрешения у изображений от стереоскопического датчика 100, 100_1-100_n, представленного в раскрытии сущности настоящего изобретения.

Фиг. 3a- 3c раскрывают иллюстративные варианты осуществления способа для управления системой 200 наблюдения. На фиг. 3а, раскрыта основная версия способа 500.

Фиг. 3а раскрывает основной способ, содержащий три этапа 510, 520, 530 способа. Первый этап: блок 215 управления управляет стереоскопическими датчиками 100_1-100_n для захвата первой и второй пар изображений соответствующими первой и второй парами 110, 120 камер. Второй этап 520: изображения затем перерабатывают в соответствующее высотное изображение соответствующей зоны 151, 152 наблюдения пары камер. Третий этап 530: блок 215 управления объединяет соответствующие высотные изображения в одно объединенное высотное изображение 171, 172, раскрывающее всю зону 150 наблюдения.

Следует понимать, что объединенное высотное изображение 171, 172 может содержать информацию от одной или множества стереоскопических камер 100_1-100_n. Однако, объединенное высотное изображение 171, 172 действительно всегда содержит область 159ʹ перекрытия, в которой информация от двух пар 110, 120 объединена для создания измерения высоты даже с более высокой точностью. Следует также понимать, что способ выполняется непрерывно для обеспечения последовательности изображений, и, таким образом, обеспечения видеонаблюдения контролируемой области.

Иллюстративный вариант осуществления способа 500 может быть снабжен дополнительными подэтапами, которые могут быть выполнены в разном порядке, в зависимости от того, какие эффекты являются необходимыми.

В одном иллюстративном варианте осуществления способа 500, этап 530 способа, состоящий в объединении первого и второго высотного изображения, содержит три подэтапа 531, 532, 533 способа. Этап 531 способа содержит детектирование элемента изображения на высоте, соответствующей плоскости 160 наблюдения, в области перекрытия в одном из первого и второго высотного изображения 151ʹ, 152. Этап 532 способа содержит сравнение высоты соответствующего элемента изображения в другом изображении из первого и второго высотного изображения 151ʹ, 152ʹ. Этап 533 способа содержит настройку высоты в другом изображении из первого и второго высотного изображения 151ʹ, 152ʹ в соответствии с плоскостью 160 наблюдения, если детектировано, что элемент изображения во втором высотном изображении 170 имеет некоторую высоту над плоскостью 160 наблюдения.

Иллюстративный эффект добавления этих этапов 531, 532, 533 способа состоит в том, что в одном высотном изображении находятся и корректируются элементы изображения, которые были ложно определены, как имеющие некоторую высоту.

Этап 530 способа может, дополнительно или в качестве альтернативы к этапам 531, 532, 533 способа, содержать этап 534 способа, в котором среднее значение высот, детектированных в соответствующих первом и втором высотном изображении 151ʹ 152ʹ, используется в области 159ʹ перекрытия объединенного высотного изображения 171, 172. Это обеспечивает иллюстративный эффект, состоящий в более точном измерении высоты или более точном объединенном высотном изображении 171, 172.

Этап 610 способа, состоящий в отправке информации от стереоскопических датчиков 100_1-100_n к центральной системе 220, может быть в некоторых иллюстративных вариантах осуществления способа обеспечен между этапами 510 и 520 способа или между этапами 520 и 530 способа или после этапа 540 способа. В первом иллюстративном варианте осуществления способа 500, этап 610 способа отправки информации выполняется после захвата изображений парой 110, 120 камер, в результате чего захваченные необработанные изображения отправляются к центральной системе 220. Иллюстративный эффект прямой отправки необработанных изображений состоит в том, что стереоскопический датчик 100_1-100_n должен только захватить изображения, и блок 215 управления стереоскопических датчиков 100_1-100_n не должен выполнять никакую обработку. Посредством сжатия изображений перед отправкой их к центральной системе 220, могут быть сэкономлены ресурсы полосы пропускания при передаче данных. В другом иллюстративном варианте осуществления способа 500, изображения 151ʹ, 152ʹ, этап 610 способа отправки к центральной системе выполняется между этапом 520 способа и этапом 530 способа или после этапа 530 способа. Посредством выполнения отправки информации от стереоскопических датчиков 100_1-100_n позже в способе 500, обеспечивается иллюстративный эффект уменьшения полосы пропускания. Другой иллюстративный эффект локальной переработки изображений в высотные изображения уже в стереоскопических датчиках 100_1-100_n состоит в том, что это обеспечивает возможность использования многих датчиков с одной центральной системой или использования датчиков с более высоким разрешением, поскольку количество данных, подлежащих отправке и подлежащих обработке центральной системой 220, уменьшается без потери какой-либо информации.

Данные, отправляемые от стереоскопических датчиков 100_1-100_n, могут быть отправлены либо в несжатом формате, либо в сжатом формате. Посредством сжатия, могут быть сэкономлены ресурсы полосы пропускания данных во время передачи данных. Данные могут сжиматься независимо от того, когда в способе 500 данные передаются к центральной системе 220.

Изобретение относится к вычислительной технике. Технический результат – обеспечение точного наблюдения в транспортных системах. Стереоскопический датчик содержит: первую пару камер для захвата первого и второго изображений, причем стереоскопический датчик выполнен с возможностью контроля и определения главной зоны наблюдения в плоскости наблюдения, находящейся на заданном расстоянии (D) от стереоскопического датчика, причем упомянутая главная зона наблюдения содержит первую и вторую зоны наблюдения и первая пара камер определяет первую зону наблюдения с первичным покрытием в первом направлении и вторичным покрытием во втором направлении, вторую пару камер для захвата первого и второго изображения, причем упомянутые изображения могут быть переработаны в высотное изображение, причем покрытие второй пары камер определяет вторую зону наблюдения с первичным покрытием в плоскости наблюдения во втором направлении и вторичным покрытием в первом направлении, причем упомянутое вторичное покрытие первой и второй пар камер перекрывает первичное покрытие другой пары камер соответственно, причем упомянутый стереоскопический датчик расположен над упомянутым перекрытием. 3 н. и 14 з.п. ф-лы, 11 ил.

1. Стереоскопический датчик (100, 100_n), содержащий:

первую пару (110) камер для захвата первого и второго изображения, причем стереоскопический датчик (100, 100_n) выполнен с возможностью контроля и определения главной зоны (150) наблюдения в плоскости (160) наблюдения, находящейся на заданном расстоянии (D) от стереоскопического датчика (100, 100_n), причем упомянутая главная зона (150) наблюдения содержит первую и вторую зоны (151, 152) наблюдения, и

первая пара (110) камер определяет первую зону (151) наблюдения с первичным покрытием (155) в первом направлении (161) и вторичным покрытием (158) во втором направлении (162), причем стереоскопический датчик (100, 100_n) дополнительно содержит вторую пару (120) камер для захвата первого и второго изображений, причем упомянутые изображения могут быть переработаны в высотное изображение, причем покрытие второй пары (120) камер определяет вторую зону (152) наблюдения с первичным покрытием (156) в плоскости (160) наблюдения во втором направлении (162) и вторичным покрытием (157) в первом направлении (161),

причем упомянутое вторичное покрытие (157; 158) первой и второй пар (110; 120) камер перекрывает (159) первичное покрытие (155; 156) другой пары (110; 120) камер соответственно, причем упомянутый стереоскопический датчик расположен над упомянутым перекрытием (159).

2. Стереоскопический датчик по п. 1, в котором упомянутое перекрытие (159) содержит приблизительно 10-30% первичного покрытия (155).

3. Стереоскопический датчик по любому из предшествующих пунктов, в котором упомянутое спроецированное установочное положение по существу соответствует положению области перекрытия (159), если смотреть в направлении Х.

4. Стереоскопический датчик по любому из предшествующих пунктов, в котором каждая из пар камер направлена к плоскости (160) наблюдения под углом, отличным от угла воображаемой линии, расположенной перпендикулярно плоскости (160) наблюдения.

5. Стереоскопический датчик по любому из предшествующих пунктов, в котором первое направление (161) и второе направление (162) продолжаются в противоположных направлениях от спроецированного установочного положения (192).

6. Стереоскопический датчик по любому из предшествующих пунктов, причем упомянутый стереоскопический датчик (100, 100_1-100_n) снабжен блоком (215) управления и выполнен с возможностью обработки изображений, захваченных первой и второй парами (110, 120) камер, для создания высотного изображения (170).

7. Стереоскопический датчик по п. 6, в котором блок управления выполнен с возможностью объединения первого высотного изображения, выработанного из изображений от первой пары камер, и второго высотного изображения, выработанного из изображений от второй пары камер, в одно объединенное высотное изображение (171, 172), причем упомянутое объединенное высотное изображение содержит область (159) перекрытия.

8. Система (200) для наблюдения, снабженная по меньшей мере одним стереоскопическим датчиком (100, 100_1-100_n) по любому из пп. 1-7, причем упомянутая система дополнительно содержит центральную систему (220), включающую в себя центральный блок (215’) управления.

9. Система по п. 8, причем упомянутая система (200) дополнительно содержит один или множество дополнительных стереоскопических датчиков или стереоскопических датчиков (100, 100_1-100_n) по любому из пп. 1-7.

10. Система по любому из пп. 8 или 9, в которой стереоскопический датчик (100, 100_1-100_n) установлен на портале (190) и определяет плоскость (160) наблюдения на поверхности (191_1, 191_2) дороги под порталом (190).

11. Система по п. 10, в которой стереоскопический датчик расположен на заданном расстоянии (D) по существу перпендикулярно от области перекрытия.

12. Способ для управления системой (200), обеспеченной по любому из пп. 8-11, в котором блок (215) управления управляет системой для:

захвата первого и второго изображений первой парой камер,

захвата первого и второго изображений второй парой камер,

переработки упомянутых первого и второго изображений от первой и второй пар камер в объединенное высотное изображение (171, 172), раскрывающее как упомянутую первую область (151) наблюдения, так и упомянутую вторую область (152) наблюдения, причем в области (159) перекрытия используется среднее значение упомянутых первого и второго высотных изображений (151’, 152’).

13. Способ по п. 12, в котором блок (215) управления дополнительно управляет системой для:

детектирования элемента изображения, имеющего высоту, соответствующую упомянутой плоскости (160) наблюдения в первом высотном изображении (151’) в области (159’) перекрытия,

сравнения высоты в элементе изображения, соответствующем детектированному элементу изображения, во втором высотном изображении (152’) в области (159’) перекрытия, и

настройки высоты в упомянутом втором высотном изображении (152’) в соответствии с плоскостью (160) наблюдения, если элемент изображения во втором высотном изображении (152’) классифицирован с высотой над плоскостью (160) наблюдения.

14. Способ по п. 12 или 13, в котором блок (215) управления дополнительно управляет системой для:

отправки первой и второй пар изображений от стереоскопического датчика (100, 100_n) к центральной системе (220) и, причем центральная система (220)

перерабатывает первую и вторую пары изображений в соответствующее высотное изображение (170).

15. Способ по п. 12 или 13, в котором стереоскопический датчик (100, 100_1-100_n):

сжимает первую и вторую пары изображений, и затем

отправляет первую и вторую пары изображений к центральной системе (220),

причем первая и вторая пары изображений сжимаются таким образом, что они становятся изображениями с более высоким разрешением в области перекрытия.

16. Способ по п. 12 или 13, в котором стереоскопический датчик (100, 100_1-100_n):

перерабатывает первую и вторую пары изображений в соответствующее высотное изображение (151’, 152’);

отправляет первое и второе высотные изображения (151’, 152’) к центральной системе (220).

17. Способ по п. 12 или 13, в котором стереоскопический датчик (100, 100_1-100_n):

перерабатывает первую и вторую пары изображений в соответствующее высотное изображение (151’, 152’);

перерабатывает первое и второе высотные изображения (151’, 152’) в объединенное высотное изображение (171, 172), и затем

отправляет объединенное высотное изображение (171, 172) к центральной системе (220).