ТЕЛЕВИЗИОННЫЙ МНОГОРАКУРСНЫЙ СПОСОБ ПОЛУЧЕНИЯ, ПЕРЕДАЧИ И ПРИЕМА СТЕРЕОИНФОРМАЦИИ О НАБЛЮДАЕМОМ ПРОСТРАНСТВЕ С ЕГО АВТОМАТИЧЕСКИМ ИЗМЕРЕНИЕМ. СИСТЕМА "ТРЕТИЙ ГЛАЗ" Российский патент 2015 года по МПК G06T15/08 H04N13/00 

Предлагаемое изобретение относится к телевизионной технике, а именно к стереоскопическому телевидению (3D TV), и может быть использовано как техническое зрение в системах точного динамичного управления мобильными объектами, для широкого использования в вещательном 3D TV и Интернете, так и в разных областях культуры, науки и техники, где требуется информация о пространственных размерах наблюдаемого предметного пространства и находящихся в нем объектах.

Известны стереоскопические способы измерения дальности по измерению линейных параллаксов сопряженных точек в их изображениях в кадрах стереопары, основанные на функциональной зависимости:

$$L=f\left(F;b;\Delta l\right),где(1)$$

L - дальность до наблюдаемой точки;

F - фокусное расстояние объективов стереосистемы;

b - база стереосистемы;

Δl - линейный параллакс между сопряженными изображениями наблюдаемой точки в кадрах стереопары.

В качестве аналога выбран «Способ автоматизированного измерения координат внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения» [1]. Способ предназначен для использования в человеко-машинном комплексе, содержащем систему технического зрения, состоящую из телевизионного стереоблока, сопряженного с ПЭВМ, дисплея для визуализации изображения и устройства управления перемещением курсора. Измеряемая точка наблюдаемой сцены указывается с помощью курсора на экране дисплея, а ее три пространственные координаты вычисляются автоматически с использованием программы на ПЭВМ и визуализацией на экране дисплея. Недостатками данного способа являются: удвоение видеопотока для передачи кадров стереопары, измерение координат только статических предметных точек сцены, необходимость участия оператора в выборе и измерении множества точек объекта для вычисления его геометрической модели.

В качестве прототипа выбран способ с использованием так называемого формата 2D+Z «Цифровое 3D-телевидение», Теле-Спутник, июнь, 2010 [2].

Техническая реализация 3D-трансляции этим способом осуществляется сопоставлением любому обычному (2D) изображению информации об удаленности каждого пиксела от наблюдателя (Z-координата). Такое представление изображения называют « формат 2D+Z », а плоскость координат Z - «картой глубины». Это позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Карта представляется в виде монохромного изображения, в котором градациями серого обозначается удаленность предметных точек от наблюдателя. При этом для расчета карты используется алгоритм анализа различий между двумя каналами видеосъемки. Полученные видеопотоки канала полного разрешения и синхронизированный с ним видеопоток монохромного изображения карты глубины Z по двум каналам связи передаются на приемную сторону.

Для реконструкции объемного изображения необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров моделирует 3D-видео и затем демонстрируется на любом стереодисплее.

К основным недостаткам данного способа можно отнести необходимость применения сложных алгоритмов, требующих анализа кадровых изображений и больших вычислительных ресурсов, что увеличивает инерционность систем. Такой способ в основном применим для получения и воспроизведения только субъективных стереоскопических изображений. При такой технологии автоматическое измерение предметного пространства в реальном времени практически не реально. Достаточно проблематично применение такого способа в навигационных системах и системах управления транспортными средствами, в т.ч. дистанционного и автоматического управлений при работе в разных средах и в реальном времени.

Для определения образа всего предметного пространства с его измерением необходимо произвести расчет всех или большинства изображений предметных точек в кадрах стереопары. В известных способах реконструкции объекта по изображениям стереопары каждую измеряемую точку определяют с участием оператора, что требует много времени и может применяться только для статических изображений, например, в картографии при обработке на стереокомпараторе стереоснимков, выполненных аэрофотосъемкой.

Для автоматизации этого процесса было предложено много алгоритмов [3,4]. Однако задача эта очень сложна и, по-видимому, еще далека от решения: анализ стереопары предполагает наличие в памяти ЭВМ весьма обширных знаний о мире, без которых расшифровка стереопары в общем случае маловероятна. [5]

Целью предлагаемого способа является создание телевизионной стереосистемы на базе существующей телевизионной техники, в инвариантной системе отсчета, независимой от предметного пространства, его автоматическое измерение в реальном времени с минимально необходимым и достаточным объемом информации, передаваемой по каналу связи для использования в системах высокоточного управления и для показа объемных изображений в расширенной комфортной зоне наблюдения. Предлагаемый способ основан на зависимости (1), в которой все величины постоянны, кроме значения линейного параллакса, поэтому ее можно представить в виде:

$$L=K\Delta l$$ ,

где K - приборная передаточная функция конкретной стереосистемы.

Значение K для системы измеряется на метрологическом стенде по трехмерной калиброванной сцене и является постоянной величиной, учитывающей все особенности данной конструкции передающей стереотелевизионной видеокамеры.

Основной задачей для отображения и измерения трехмерного наблюдаемого предметного пространства остается измерение линейного параллакса в единицах, совместимых с используемой в системе метрикой.

Поставленная цель достигается тем, что для осуществления предлагаемого изобретения стереотелевизионная съемка осуществляется синхронизированной многоракурсной стереотелевизионной системой с симметрично центрированной пространственной структурой расположения видеокамер, оптические оси которых параллельны друг другу и расположены в одной плоскости, формированием карты глубины по измерениям мгновенных временных параллаксов между сигналами от изображений каждой точки предметного пространства и сопряженными с ним сигналами от их изображений в ракурсных строчных сигналах скоростью строчной развертки в сравнительной структуре строчных оперативно запомненных видеосигналов от одновременно наблюдаемой линии предметного пространства и построенной в единой временной системе отсчета с началом, задаваемым строчным синхроимпульсом стереосистемы, причем распознавание сопряженных сигналов осуществляется по подобию их расположения в сравнительной структуре строчных видеосигналов пространственной структуре расположения видеокамер и равенству уровня сопряженных сигналов в ракурсных видеокамерах с сигналом в центральной, с последующей передачей в канал связи видеосигналов полного разрешения и синхронизированных с ним сигналов карты глубины через приемное устройство на вычислительный блок, обеспечивающего реконструкцию строчных ракурсных видеосигналов сдвигом сигналов центральной видеокамеры на соответствующие временные параллаксы для построения стереокадров и многоракурсного воспроизведения объемных изображений на стереодисплеях, а покадровым анализом - построение пространственного цифрового образа предметного пространства с вычислением координат и динамических характеристик составляющих его объектов, необходимых для информационного обеспечения управляющих систем.

На Рис. 1 обозначено:

1. Строчный синхроимпульс, определяющий общую точку отсчета при измерении временных расстояний и временных интервалов - параллаксов;

2. Сигналы, передаваемые через канал связи;

3. Вычислительный блок;

4. Стереодисплей;

A и B - предметные точки в разных зонах наблюдения; b - общая база стереокамеры;

Ол; Оц; Оп - центральные точки объективов стереокамеры;

A'л; A'ц; A'п; B'л; B'ц; B'п - изображения предметных точек на видеоматрицах;

ΔB'л=ΔB'п - симметричные относительно точки B'ц линейные параллаксы;

t₀ - общая точка отсчета временных расстояний и интервалов, задаваемая строчным синхроимпульсом;

$$t_{Л}^{B\text{'}}$$ ; $$t_{Ц}^{B\text{'}}$$ ; $$t_{П}^{B\text{'}}$$ - временные расстояния от строчного синхроимпульса до сигналов от изображений предметной точки B в левой, центральной и правой видеокамерах, измеренные скоростью развертки;

$${\tau }_{Л}^{B\text{'}}$$ ; $${\tau }_{П}^{B\text{'}}$$ ; - временные параллаксы для изображения предметной точки B, измеренные скоростью развертки;

$$J_{Л}^{B\text{'}}=J_{Ц}^{B\text{'}}=J_{П}^{B\text{'}}$$ - уровни сигналов от изображений «B'» предметной точки «B» в левой, центральной и правой видеокамерах.

Телевизионный способ передачи плоских двумерных изображений наблюдаемого предметного пространства в формате 2D широко используется как в вещательных, так и в промышленных целях. Передача объемных изображений в формате 3D оказалась достаточно не тривиальной и пока не имеет приемлемого технического решения для широкого применения. Стереоскопические кино и фото съемки известны давно, но используемые для этого способы мало подходят для телевизионной передачи динамических изображений в реальном времени. Принцип объемного восприятия человеком или животного с бинокулярным зрением наблюдаемого предметного пространства заключается в одновременном сравнительном анализе головным мозгом двухмерных изображений в обоих глазах. Сложность заключается в том, что изображения каждой точки наблюдаемого предметного пространства, полученные с разных ракурсов, отличаются друг от друга своим пространственным положением в самих изображениях, представляющих собой кадры стереопары. Эти изображения предметных точек в кадрах стереопары называют сопряженными, а их пространственное отличие параллаксом. Величина параллакса характеризует дальность до этой точки и дает возможность ее оценить и даже измерить. Однако, поскольку дальности до разных точек наблюдаемого пространства произвольные и постоянно меняются при любых движениях находящихся в них объектов, то и значения параллаксов постоянно меняются как по величине, так и их положению в изображениях. У человека и животных эта задача восприятия сознанием окружающего предметного пространства решается головным мозгом совместно с аппаратом бинокулярного зрения.

Целью предлагаемого изобретения является автоматическое распознавание сопряженных точек, их пространственное положение в телевизионных кадрах стереопары и измерение их параллаксов в общей пространственно-временной системе координат и метрикой. Формирование стереотелевизионного потока видеосигналов добавлением к передаваемым сигналам цветности синхронизированного параллаксного сигнала дальности. Использование полученного на приемной стороне информационного потока в системах управления и для реконструкции параллаксным сигналом второго кадра стереопары для воспроизведения на стереодисплее.

Для реализации способа вначале формируют пространственную симметрично-центрированную структуру стереосистемы. Для этого оптические оси центральной - полного разрешения и боковых - ракурсных, симметрично расположенных видеокамер выставляют в одной плоскости и параллельно друг другу. Управление камерами синхронизируют общим блоком развертки. Этим обеспечивается одновременное считывание видеокамерами одной и той же линии предметного пространства и сопряженность всех строк в единой временной системе отсчета создаваемой общим блоком развертки. Затем для нахождения в одновременно считанных строках, сопряженных с центральным сигналом боковых - ракурсных сигналов, строчные видеосигналы оперативно запоминаются и сравниваются по их строчному синхроимпульсу. В полученной сравнительной строчной структуре благодаря симметрично центрированной пространственной установке видеокамер боковые - ракурсные видеосигналы будут располагаться симметрично относительно центрального сигнала, при этом будет иметь место равенство линейных интервалов:

$$\Delta B\text{'}л=\Delta B\text{'}п,(2)$$

являющееся пространственным топологическим признаком сопряженности для распознавания сигналов. Принимая за рабочую гипотезу равенство сигналов от изображаемой предметной точки во всех видеокамерах, получаем равенство:

$$J_{Л}^{B\text{'}}=J_{Ц}^{B\text{'}}=J_{П}^{B\text{'}}{J}_{}^{B\text{'}}(3)$$

По этим отличительным признакам (2,3) вычислительный блок распознает комбинацию симметрично расположенных и равных боковых - ракурсных сигналов, сопряженных с центральным - ведущим сигналом, и измеряет скоростью строчной развертки временной параллакс между ними

$${\tau }_{Л}^{B\text{'}}={\tau }_{П}^{B\text{'}}={\tau }_{}^{B\text{'}}.(4)$$

Полученные значения временных параллаксов для всех видеосигналов центральной - ведущей видеокамеры полного разрешения формата 2D, представляющие собой строчные сигналы дальности в формате временных параллаксов, синхронно с полным видеосигналом передаются в канал связи в формате 2D+Z.

На приемной стороне по полученной информации формируется пространственный цифровой образ предметного пространства с вычислением координат и динамических характеристик составляющих его объектов по функциональной зависимости дальности от относительного расположения видеокамер, текущего значения фокусных расстояний объективов видеокамер и временных характеристик развертки для их использования в навигационных системах и системах управления.

Для реконструкции кадров стереопары и их многоракурсного воспроизведения объемного изображения на растровом стереодисплее, видеосигналы полного разрешения в каждой строке пространственно смещаются на линейную величину, определяемую собственной скоростью строчной развертки и соответствующим значением временного параллакса. Представление сигналов дальности в формате временных параллаксов обеспечивает совместимость со всеми приемными устройствами, имеющими такой же вид развертки с собственными скоростями развертки, сопряженными с собственными линейными размерами экранов.

Кроме того, при использовании растрового способа воспроизведения за счет небольшого увеличения числа боковых видеокамер можно значительно увеличить зону комфортного наблюдения объемных изображений.

ЛИТЕРАТУРА

1. RU 2065133 C 1. Способ автоматизированного измерения координат точек внешней среды для построения ее трехмерной модели в стереотелевизионной системе технического зрения.

2. Цифровое 3D-телевидение (Варианты построения системы объемной визуализации).

76/announce/l4.html.

3. Энциклопедия физики и техники. «Стереоскопическое изображение»,

http://www.articles/part_2/3889.html.

4. RU 2192104 C2, 27.10.2002 «Способ получения стереоскопических телевизионных изображений».

5. Математика стереоизображений. А.А. Веденов, М., 1991.

Изобретение относится к стереоскопическому телевидению. Техническим результатом является повышение точности управления передачей стереоскопического видеоизображения за счет автоматического измерения предметного пространства съемки в реальном времени. В способе осуществляют стереосъемку симметрично центрированной многоракурсной стереосистемой с синхронизированными видеокамерами, запоминают и сравнивают видеосигналы сопряженных строк, распознают в них сопряженные с центральным сигналом ракурсные сигналы, измеряют их временные параллаксы в единой временной системе отсчета, синхронизируют параллаксные сигналы с видеосигналом центральной видеокамеры, передают на приемную сторону и запоминают поток сигналов, восстанавливают видеосигналы ракурсных стереокадров смещением элементов сигналов центральной камеры на сопряженные временные параллаксы и воспроизводят изображение. 1 ил.

Телевизионный многоракурсный способ получения, передачи и приема стереоинформации о наблюдаемом пространстве с его автоматическим измерением, включающий стереоскопическую съемку с получением стереотелевизионного сигнала в формате 2D+Z, где Z - карта глубины, трансляцию потока стереовидеосигналов на приемную часть, использование информации в системах управления, восстановление видеосигналов кадров стереопары и их воспроизведение на стереомониторе, отличающийся тем, что для достижения технического результата стереотелевизионная съемка осуществляется синхронизированной многоракурсной стереотелевизионной системой с симметрично центрированной пространственной структурой расположения видеокамер, оптические оси которых параллельны друг другу и расположены в одной плоскости, формированием карты глубины по измерениям мгновенных временных параллаксов между сигналами от изображений каждой точки предметного пространства и сопряженными с ним сигналами от их изображений в ракурсных строчных сигналах скоростью строчной развертки в сравнительной структуре строчных оперативно запомненных видеосигналов от одновременно наблюдаемой линии предметного пространства и построенной в единой временной системе отсчета с началом, задаваемым строчным синхроимпульсом стереосистемы, причем распознавание сопряженных сигналов осуществляется по подобию их расположения в сравнительной структуре строчных видеосигналов пространственной структуре расположения видеокамер и равенству уровня сопряженных сигналов в ракурсных видеокамерах с сигналом в центральной, с последующей передачей в канал связи видеосигналов полного разрешения и синхронизированных с ним сигналов карты глубины через приемное устройство на вычислительный блок, обеспечивающего реконструкцию строчных ракурсных видеосигналов сдвигом сигналов центральной видеокамеры на соответствующие временные параллаксы для построения стереокадров и многоракурсного воспроизведения объемных изображений на стереодисплеях, а покадровым анализом - построение пространственного цифрового образа предметного пространства с вычислением координат и динамических характеристик составляющих его объектов, необходимых для информационного обеспечения управляющих систем.