УСТРОЙСТВО СТЕРЕОВИДЕНИЯ В РЕАЛЬНОМ ВРЕМЕНИ Российский патент 2013 года по МПК H04N13/00 

Область техники

Изобретение относится к технике наблюдения объемных изображений, точнее к стереоскопической видеотехнике, и может быть использовано для создания универсального устройства наблюдения трехмерных сцен в реальном времени без использования компьютера при оптимизации свойств наблюдаемой трехмерной сцены к основным параметрам зрительной системы наблюдателя.

Предшествующий уровень техники

Известно устройство технического стереоскопического зрения [1], содержащее две видеокамеры, последовательно соединенные с электронным вычислительным блоком и электронным блоком распознавания образов. Данное известное устройство позволяет решать только простые задачи распознавания, в нем невозможно использовать интеллектуальные распознающие свойства зрительной системы (зрения) наблюдателя.

Известно устройство стереовидения в реальном времени [2] (прототип), содержащее бинокулярный приемник изображений, выполненный в виде двух видеокамер, электронный блок, выполненный в виде системного блока компьютера, включающего в себя центральный процессор, входную карту видеозахвата и видеокарту, проекционный дисплей с попеременным воспроизведением изображений левого и правого ракурсов трехмерной (3Д) сцены, и активные стереоочки, при этом выходы первой и второй видеокамер подключены к первому и второму входам входной карты видеозахвата, а выход видеокарты подключен к видеовходу дисплея, экран которого через оптические окна активных стереоочков оптически сопряжен с зрительной системой наблюдателя, при этом вход синхронизации активных стереоочков соединен с выходом синхронизации видеокарты компьютера.

Известное устройство стереовидения [2] является сложным и громоздким, поскольку используется компьютер общего назначения со сложной периферийной видеоподсистемой для обработки видеосигналов двух видеокамер, что приводит к недостаточному быстродействию устройства в целом, особенно в случае обработки видеосигналов высокой четности (high definition - HD). Это обусловлено тем, что все программные операции в компьютере, в том числе все операции обработки входных изображений и их геометрических преобразований, осуществляются в основном центральным процессором, который выполняет все указанные операции последовательно во времени. Кроме того, данное известное устройство обеспечивает стереовидение только при условии использовании в его компьютере специально подобранных типов входных устройств видеозахвата, видеокарт и стереоочков, а также определенных типов операционных систем и специального программного обеспечения.

Несмотря на сложность, в известном устройстве [2] при наблюдении изображений ракурсов на экране проекционного дисплея имеет место существенное рассогласование между аккомодацией и конвергенцией зрительной системы наблюдателя, приводящее к утомлению зрения при длительном наблюдении 3Д сцен из-за данного некорректного функционирования зрительной системы.

Однако для устройства стереовидения является важным обеспечение комфортных для зрительной системы наблюдателя условий восприятия 3Д сцены во избежание утомления зрения и для сохранения способности зрительной системы адекватно ориентироваться в пространстве наблюдаемой 3Д сцены. Ключевым для обеспечения зрительной различимости рельефа объектов и возможности одновременно наблюдать несколько объектов 3Д сцены является обеспечение приемлемого согласования аккомодации и конвергенции зрительной системы [3]. Также для комфортного (без утомления) наблюдения 3Д сцены величина экранного параллакса (расстояние на экране между соответствующими точками изображений двух ракурсов 3Д сцены) должна быть ограничена - не должна превосходить 3% расстояния наблюдателя от экрана; наиболее благоприятной для зрения является 1-2% величина экранного параллакса [3].

Для обеспечения согласования аккомодации и конвергенции зрительной системы наблюдателя предложено многоракурсное автостереоскопическое устройство [4] с таким плотным угловым спектром расположения ракурсов, что в угловой раскрыв зрачка зрительной системы наблюдателя (зрачка глаза) одновременно попадают по крайней мере два соседних ракурса. Экспериментально показано, что такое условие обеспечивает «отрыв» аккомодации зрения от плоскости экрана, что создает условия для существенного улучшения согласования аккомодации и конвергенции зрения.

Недостатками известного устройства [4] являются громоздкость и сложность в юстировке, поскольку каждый из ракурсов формируется по сути отдельной оптической подсистемой с отдельным дисплейным экраном, объективом и линзовым растром, а угловое уплотнение ракурсов осуществляется просветным экраном со свойствами линзы Френеля в сочетании с оптическим рассеивателем, поэтому известное устройство проблематично использовать в качестве устройства стереовидения в реальном времени.

Задача изобретения - улучшение условий наблюдения трехмерной сцены (улучшение согласования аккомодации и конвергенции зрения) и улучшение оценки расстояний между ее объектами по глубине с помощью электронных настроек геометрии наблюдаемого 3Д изображения в реальном времени.

Сущность изобретения

Поставленная задача решается за счет реализации такой геометрии воспроизведения 3Д сцены, при которой восстановление 3Д сцены в зрительной системе наблюдателя при восприятии им изображений ракурсов 3Д сцены на экране дисплея устройства стереовидения было максимально приближено к условиям прямого (непосредственного) наблюдения зрительной системой исходной 3Д сцены за счет выбора соответствующих параметров устройства, в том числе электрического управления геометрией наблюдаемой сцены, чтобы удовлетворить граничным критериям корректного восприятия зрительным аппаратом наблюдателя восстановленной 3Д сцены.

Основным граничным критерием является взаимное согласование аккомодации (фокусировки глаз на наблюдаемом объекте) и конвергенции (пересечения зрительных осей глаз на наблюдаемом объекте) зрительной системы, что всегда выполняется при прямом наблюдении объектов исходной 3Д сцены (3Д сцены реального мира), но нарушается в общем случае в известных [1, 2] стереоскопических системах в процессе восстановления 3Д сцены зрительной системой наблюдателя, воспринимающего изображения ракурсов исходной 3Д сцены на плоском экране дисплея.

Поставленная задача решается в трех взаимосвязанных аспектах изобретения. Первый аспект состоит в реализации (выбором соответствующих исходных параметров устройства) такой начальной геометрии пространства восстановленной 3Д сцены, которая в целом связана преобразованием подобия с геометрией пространства исходной 3Д сцены.

В первом частном варианте выполнения устройства соответствующая «настройка» геометрии восстановленной 3Д сцены осуществлена так, чтобы угол, под которым зрительная система наблюдает восстановленное изображение на экране дисплея, равен углу, под которым бинокулярный приемник изображений воспринимает изображение исходной трехмерной сцены.

Второй аспект решения задачи состоит в достижении технического результата в виде минимизации рассогласования аккомодации и конвергенции для выбранных объектов 3Д сцен, имеющей большую протяженность.

Во втором частном варианте устройства такой технический результат достигается возможностью формирования искусственного экранного параллакса (в дополнение к естественному экранному параллаксу, в величине которого содержится информация о пространственной структуре исходной 3Д сцены) за счет соответствующих электронных настроек устройства стереовидения, что приводит к сдвигу всей восстановленной 3Д сцены по глубине относительно плоскости экрана, обеспечивая удовлетворительное согласование аккомодации и конвергенции для объектов, реализующихся в области плоскости экрана. При этом в третьем частном варианте устройства используется такой формат изображений ракурсов на экране дисплея, который позволяет к тому же точно измерять расстояния по глубине для выбранного объекта восстановленной 3Д сцены за счет визуального определения факта взаимного совпадения по глубине двух частей объекта, которые движутся друг к другу за счет электрически управляемого изменения величины искусственного параллакса и выбора взаимно противофазных форматов воспроизведения двух частей выбранного объекта.

Третий аспект решения задачи состоит в достижении технического результата в виде минимизации нарушения согласования аккомодации и конвергенции зрения наблюдателя в целом для всей сцены независимо от величины ее протяженности. Такой технический результат достигается за счет созданий условий для «отрыва» аккомодации от плоскости экрана дисплея при наблюдении любых 3Д сцен за счет одновременной демонстрации каждому глазу (каждому входу зрительной системы) по крайней мере двух ракурсов исходной 3Д сцены с таким малым угловым разрешением, что оно сравнимо с угловым разрешением зрачка глаза. В четвертом частном варианте выполнения устройства можно формировать по крайней мере две пары изображений ракурсов, искусственно сдвинутых относительно друг друга в направлении естественного параллакса в крайнем случае на минимальный интервал, равный элементу разрешения (одному пикселю) дисплея, что эквивалентно в случае достаточно большой кадровой частоты одновременному предъявлению каждому глазу по крайней мере двух ракурсов, что создает условия для «отрыва» аккомодации от плоскости экрана в соответствии с экспериментальными данными [4] в силу того, что разница в эквивалентных угловых характеристиках двух ракурсов выбрана порядка углового разрешения зрительной системы (углового разрешения зрачка глаза).

В отличие от случая формирования искусственного экранного параллакса в третьем частном варианте выполнения устройства, где реализуется сдвиг разного знака между левым и правым ракурсами, в четвертом частном варианте выполнения устройства используется электрически управляемый искусственный сдвиг одного и того же знака для обоих (левого и правого) ракурсов последующей пары ракурсов относительно предыдущей пары ракурсов в направлении естественного экранного параллакса.

Дополнительным техническим результатом является упрощение конструкции устройства, выполненной в виде единого универсального электронного блока.

Изобретение поясняется нижеследующим описанием со ссылкой на чертежи.

Краткое описание фигур чертежей

Фиг.1 - структурная схема устройства стереовидения.

Фиг.2 - порядок чередования изображений ракурсов 3Д сцены на экране.

Фиг.3 - формат выходного изображения для первого примера конкретного

выполнения третьего частного варианта устройства.

Фиг.4 - формат выходного изображения для второго примера конкретного выполнения третьего частного варианта устройства.

Фиг.5 - формат выходного изображения для четвертого частного варианта устройства.

Фиг.6 - пример конкретного выполнения бинокулярного приемника изображений для четвертого частного варианта устройства.

Фиг.7 - форматы изображений ракурсов на выходе бинокулярного приемника изображений.

Фиг.8 - согласование аккомодации и конвергенции зрительной системы при прямом наблюдении элементарного (точечного) объекта исходной 3Д сцены.

Фиг.9 - согласование аккомодации и конвергенции зрительной системы при прямом наблюдении сложного объекта исходной 3Д сцены.

Фиг.10 - рассогласование аккомодации и конвергенции зрительной системы при наблюдении изображений ракурсов элементарного (точечного) объекта на экране дисплея.

Фиг.11 - рассогласование аккомодации и конвергенции зрительной системы при наблюдении изображений ракурсов сложного объекта на экране дисплея.

Фиг.12 - улучшение согласования аккомодации и конвергенции при наблюдении изображений ракурсов элементарного объекта при введении искусственного параллакса.

Фиг.13 - улучшение согласования аккомодации и конвергенции при наблюдении изображений ракурсов сложного объекта без изменения его протяженности по глубине при введении искусственного параллакса.

Фиг.14 - геометрия формировании плоскости нулевого параллакса при восприятии исходной 3Д сцены бинокулярным приемником изображений.

Фиг.15 - точное измерение расстояний по глубине для линейного объекта 3Д сцены, предъявляемого в двухсекционном формате.

Фиг.16 - точное измерение расстояний по глубине для конусообразного объекта 3Д сцены, предъявляемого в двухсекционном формате.

Фиг.17 - искусственный сдвиг между двумя парами ракурсов при работе конкретного примера выполнения четвертого частного варианта устройства.

Осуществление изобретения

Устройство (Фиг.1) содержит последовательно соединенные бинокулярный приемник 1 изображений, электронный блок 2, выполненный в виде последовательно соединенных модуля 2₁ преобразования формата и формирования сдвига изображений и модуля 2₂ умножения кадровой частоты изображений, дисплей 3, активные стереоочки 4, вход синхронизации которых подключен к выходу синхронизации модуля 2₂ умножения кадровой частоты изображений, а оптический вход активных стереоочков 4 оптически сопряжен с выходом дисплея 3, при этом дисплей 3 выполнен с попеременным форматом предъявления изображений левого и правого ракурсов, а первое и второе окна активных стереоочков 4 оптически сопряжены с первым и вторым входами зрительной системы 5 наблюдателя.

В конкретном варианте выполнения бинокулярный приемник 1 изображений выполнен в виде сдвоенной видеокамеры 6, состоящей из двух видеокамер, содержащих объективы 6₁ и 6₂, в фокальных плоскостях которых находятся сенсоры (фотоприемники) 6₃ и 6₄ соответственно.

Электрически управляемые параметры преобразования формата и формирования сдвига изображений выбраны по условиям соблюдения граничных критериев восстановления в зрительной системе наблюдателя 3Д сцены с сохранением преобразования подобия между пространствами исходной и восстановленной 3Д сцен.

Зрительная система наблюдателя - левый и правый глаза наблюдателя, информационно связанные с сознанием (мозгом) наблюдателя. Первым и вторым входами зрительной системы 5 наблюдателя являются зрачки левого и правого глаз соответственно.

Исходная 3Д сцена - 3Д сцена, объекты которой физически реализованы в евклидовом трехкоординатном (х', y', z') пространстве.

Ракурс 3Д сцены - двумерная проекция 3Д сцены, соответствующая определенному углу просмотра 3Д сцены.

Формат изображения - пространственное и/или временное расположение информации о ракурсах 3Д сцены в пикселях изображения на рабочей поверхности фоточувствительного сенсора или на экране дисплея.

Связь преобразованием подобия между пространствами исходной 3Д сцены и восстановленной 3Д сцены (3Д сцены, восстановленной в зрительной системе наблюдателя) означает, что каждая из координат x', y', z' пространства исходной 3Д сцены связана с соответствующей координатой x, y, z пространства восстановленной 3Д сцены одним и тем же множителем, что ведет к взаимному подобию объектов обоих пространств как геометрических фигур.

Попеременный формат предъявления изображений левого L и правого R ракурсов V_L (Left View) и V_R (Right View) на экране дисплея 3 соответствует, для определенности, предъявлению V_L и V_R соответственно в нечетных и четных кадрах изображения (Фиг.2). Активные стереоочки 4 выполнены с возможностью попеременного просветления левого и правого окон синхронно с появлением изображений V_L и V_R на экране, что соответствует раздельному (поочередному) предъявлению изображений V_L и V_R соответственно левому и правому входам (левого и правому глазам) зрительной системы наблюдателя.

В первом частном варианте устройства сохранение преобразования подобия при соблюдении граничных критериев восстановления в зрительной системы наблюдателя трехмерной сцены задано соотношением

где - расстояние от глаз зрительной системы наблюдателя до плоскости проекционного экрана, b_camera - базис бинокулярного приемника 1 изображений, b_eye - базис зрительной системы 5, m_display - коэффициент увеличения кадра изображения на экране дисплея 3 по сравнению с размером кадра на сенсоре 6₁ первой видеокамеры (сенсоре 6₂ второй видеокамеры).

Во втором частном варианте устройства модуль 2₁ преобразования формата и формирования сдвига изображений выполнен с возможностью формирования искусственного экранного параллакса между изображениями V_L и V_R, причем направление искусственного экранного параллакса совпадает с направлением естественного экранного параллакса .

Совпадение направлений и означает их формирование вдоль одной и то же координаты (х - координаты). В принципе их знаки могут как совпадать, так и различаться между собой.

Естественный экранный параллакс обусловлен изначальной геометрией ракурсов 3Д сцены, в которой заключена информация о глубине исходной 3Д сцены. Искусственный экранный параллакс формируется в устройстве электронными средствами как дополнительный к естественному экранному параллаксу .

В третьем частном варианте устройства формат изображений на экране дисплея 3 представлен двумя секциями 7, 8 с границей 9 между ними, расположенной параллельно направлению естественного экранного параллакса и имеющей возможность перемещения в направлении, ортогональном направлению естественного экранного параллакса (т.е. возможность перемещения вдоль координаты y), в первой (верхней) секции 7 порядок чередования соответствующих первых фрагментов изображений левого и правого ракурсов противоположен порядку чередования вторых фрагментов изображений левого и правого ракурсов, соответствующих второй (нижней) секции 8, а модуль 2₁ преобразования формата и формирования сдвига изображений выполнен с возможностью формирования в каждой секции 7, 8 искусственного экранного параллакса между изображением левого ракурса и изображением правого ракурса.

В первом конкретном примере выполнения третьего частного варианта устройства (Фиг.3) первые фрагменты , изображений левого и правого ракурсов в первой секции 7 ориентированы идентично вторым фрагментам изображений левого и правого ракурсов во второй секции 8.

Во втором конкретном примере выполнения третьего частного варианта устройства (Фиг.4) первые фрагменты , изображений левого и правого ракурсов в одной из секций 7, 8 повернуты на 180 градусов относительно вторых фрагментов , изображений левого и правого ракурсов в другой из секции 7, 8.

В четвертом частном варианте устройства (Фиг.5) модуль 2₂ преобразования формата и формирования сдвига изображений и дисплей 3 выполнены с возможностью формирования (s+1)-й пары , изображений ракурсов, искусственно сдвинутой на k пикселей в направлении естественного экранного параллакса относительно s-й пары , изображений ракурсов, при этом выполняется соотношение , где - кадровая частота изображений в последовательности из S пар изображений ракурсов, F - критичная кадровая частота заметности мерцаний изображений для зрительной системы наблюдателя, где s=2,…,S; k - натуральное число (k=1,2,…K).

В соответствующем конкретном примере выполнения бинокулярный приемник 1 изображений (Фиг.6) включает в себя фоточувствительную матрицу 1₁, на поверхности которой сформированы (с помощью микролинз 1₂, 1₃, 1₄, 1₅) изображения ракурсов V_L(s+1) V_K(S) V_R(S+1) исходной трехмерной сцены, при этом разность между углами α_L(s+1)-α_L(S), α_R(s+1)-α_R(S) восприятия соответствующих ракурсов укладывается в пределы углового разрешения зрачка зрительной системы 5 наблюдателя.

Устройство работает следующим образом.

Бинокулярный приемник 1 изображений формирует на своем выходе сигналы изображений левого и правого ракурсов V_L и V_R исходной 3Д сцены, находящейся в пространстве с координатами x', y', z' при этом исходный формат формируемых изображений V_L и V_R может быть произвольным, например попеременный формат, горизонтальный формат, вертикальный формат, интерлейсный формат (Фиг.7). Модуль 2₁ преобразования формата и формирования сдвига изображений преобразует исходный формат в попеременный формат, где V_L и V_R взаимно чередуются в нечетных и четных кадрах. Модуль 2₂ умножения кадровой частоты изображений увеличивает кадровую частоту и подает сигнал изображения на вход дисплея, на экране которого попеременно воспроизводятся изображения V_L и V_R. Активные стереоочки 4 попеременно открывают свои левое и правое окна синхронно с появлением изображений V_L и V_R на экране, в результате левый и правый глаза (первый и второй вход зрительной системы 5) наблюдателя попеременно воспринимают соответствующие ракурсы исходной 3Д сцены. При величине кадровой частоты не ниже критической частоты заметности мерцаний наблюдаемого изображения в зрительной системе 5 наблюдателя слитно воспринимаются оба ракурса и восстанавливается 3Д сцена.

Определим основные факторы, отличающие функционирование зрительной системы 5 при восприятии изображений V_L и V_R на плоском экране по сравнению с прямым (непосредственным) восприятием исходной 3Д сцены зрительной системой 5 с последующим пояснениям, как изобретение обеспечивает приближение условий функционирования зрительной системы в условиях восприятия изображений на выходе устройства к условиям прямого восприятия исходной 3Д сцены.

Элементарный объект 3Д сцены реального мира в виде точки 1^obj (Фиг.8) воспринимается зрительной системой 5 наблюдателя, характеризующейся базисом b_eyes (который определяется расстоянием между центрами зрачков глаз наблюдателя) так, что зрительные (визирные) оси E^L и E^R левого и правого глаз пересекаются в наблюдаемой точке 1^obj (что означает конвергенцию зрительных осей E^L и Е^R в точке 1^obj), при этом на точку 1^obj также фокусируются (аккомодируются) оба глаза, что отмечено на чертеже пересечением точки 1^obj с условной поверхностью А^L,R фокусировки обоих глаз. Такое согласование аккомодации и конвергенции зрительной системы наблюдателя обеспечивается в целом также и для более сложного объекта реального мира (Фиг.9) посредством отдельного согласования аккомодации и конвергенции для каждой из точек объекта, если его структура разрешается зрительной системой наблюдателя по глубине, в противном случае согласованием в среднем по объему наблюдаемого объекта за счет объема (запаса по глубине) аккомодации зрительной системы.

При раздельном предъявлении левому и правому глазам наблюдателя (первому и второму входам зрительной системы) изображений соответственно левого и правого ракурсов объектной точки 1^restore (Фиг.10) расстояние между ними является естественным экранным параллаксом , величина

которого определяется z -координатой объектной точки 1^restore т.е. ее расположением по глубине исходной 3Д сцены. При нулевой величине естественного экранного параллакса объектная точка 1^restore восстанавливается непосредственно в плоскости экрана, в этом случае имеет место согласование аккомодации и конвергенции зрительной системы. При положительной либо отрицательной величинах естественного экранного параллакса объектная точка 1^restore восстанавливается соответственно за экраном и перед ним, и в обоих последних случаях имеет место определенное рассогласование между аккомодацией и конвергенцией зрительной системы, поскольку аккомодация (фокусировка) зрительной системы всегда осуществляется на плоскость экрана, а конвергенция (пересечение зрительных осей) - в месте пространственного восстановления точки 1^restore.

Аналогично восстанавливается изображение сложного объекта (Фиг.11), при этом величина глубины восстановленной 3Д сцены (расстояние по z - координате между ее самой дальней и самой ближней объектными точками) определяется только разностью между двумя величинами естественного экранного параллакса , соответствующим этим объектным точкам.

Положение восстановленной точки 1^restore по глубине от положения к положению (Фиг.12) изменяется введением искусственного экранного параллакса как дополнительного к естественному экранному параллаксу , причем по знаку может как совпадать с , так и быть противоположным ему. Искусственный экранный параллакс формируется электронными средствами в модуле 2₁ преобразования формата и формирования сдвига изображений.

Величина определяет смещение восстановленной 3Д сцены целиком по глубине (по z - координате), не влияя на величину собственной протяженности ΔZ 3Д сцены по глубине (Фиг.13).

Соотношение (1) соответствует выполнению условия сохранения угловых соотношений между объектами исходной и восстановленной 3Д сцен с учетом положения плоскости нулевого параллакса, соответствующей той плоскости по глубине восстановленной сцены, с которой будет совпадать плоскость экрана дисплея (т.е. плоскости, определяющей, какая часть восстановленной 3Д сцены будет наблюдаться перед экраном, а какая - за экраном). Вывод соотношения (1) состоит в следующем.

Пусть восприятие (видеосъем) исходной 3Д осуществляется бинокулярным приемником 1 изображения, выполненным в виде сдвоенной видеокамеры 6, включающей в себя объективы 6₁ и 6₂ с взаимно параллельными оптическими осями и сенсоры 6₃ и 6₄ (Fig.14). Тогда расстояние (по координате z) между плоскостью 10 нулевого параллакса и сдвоенной видеокамерой 6 определяется формулой

где - фокусное расстояние каждого из объективов 6₁, 6₂, - параллакс на рабочих поверхностях 6₅, 6₆ сенсоров 6₃ и 6₄, соответствующий расположенной в бесконечности некоторой объектной точке 1^∞, входящей в состав 3Д сцены; параллакс соответствует расстоянию между первой и второй корреспондирующими точками (изображениями объектной точки 1^∞) на рабочих поверхностях 6₅, 6₆. Величина равна нулю, если центр каждого из сенсоров 6₃ или 6₄ находится точно на оптической оси соответствующего объектива 6₁ или 6₂, поскольку световой поток из бесконечности приходит в направлении, параллельном оптическим осям объективов 6₁ и 6₂. Это означает, что в таком случае плоскость 10 нулевого параллакса находится в плоскости расположения светочувствительных сенсоров 6₃ и 6₄, и тогда при воспроизведении на экране дисплея 3 изображений ракурсов исходной 3Д сцены восстановленная в зрительной системе 3Д сцена будет целиком находиться за экраном. Исходной установкой сенсоров 6₃ и 6₄ в смещенное состояние (вдоль координаты х друг к другу или друг от друга) относительно центров соответствующих объективов 6₁ и 6₂ без изменения величины базиса b_camera, равного расстоянию между оптическими осями двух объективов 6₁ и 6₂, реализуется ненулевое значение в изображениях ракурсов на сенсорах 6₃ и 6₄, а следовательно, и в изображениях ракурсов, предъявляемых на экране дисплея 3. В этом случае восстановленная 3Д сцена будет разделена плоскостью экрана на две части (на часть, находящуюся перед экраном, и на часть за экраном). Это снижает нагрузку на зрительную систему наблюдателя, поскольку снижается абсолютная величина естественного экранного параллакса из-за того, что заэкранная часть 3Д сцены воспроизводится при положительном знаке а предэкранная часть - при отрицательном в то время как в случае нахождения 3Д сцены целиком за экраном, ей соответствует только отрицательного знака с абсолютным значением, равным сумме абсолютных значений .

Физическому сдвигу сенсоров 6₃ и 6₄ вдоль координаты х эквивалентен электронной сдвиг изображений ракурсов, осуществляемый в модуле 2₁ преобразования формата и формирования сдвига изображений. Тем самым реализуется электронное управление положением плоскости 10 нулевого параллакса в восстановленной 3Д сцене при нулевом либо ненулевом исходном физическом сдвиге сенсоров 6₃ и 6₄.

Условие соблюдения одинаковых угловых соотношений между объектами исходной 3Д сцены и восстановленной 3Д сцены (воспринимаемой зрительной системой наблюдателя, расположенного на расстоянии от экрана дисплея 3) определяется формулой

где опорной плоскостью наблюдаемой 3Д сцены (относительно которой отсчитываются углы наблюдения) принята плоскость 10 нулевого параллакса в исходной 3Д сцене, которая совпадает с плоскостью экрана дисплея 3.

Формальная запись того факта, что точечный объект исходной сцены, расположенный в бесконечности, отображается в восстановленной 3Д сцене также в бесконечности, имеет вид

где - экранный параллакс между точками и , корреспондирующих точечному объекту . Соотношение (4) соответствует тому факту, что для восприятия объекта в бесконечности зрительные (визирные) оси двух глаз наблюдателя должны быть ориентированы параллельно друг другу (как и в случае наблюдения бесконечно удаленного объекта реального мира), что выполняется при выборе величины экранного параллакса равной величине базиса b_eyes зрительной системы (расстоянию между центрами зрачков глаз).

Связь между значением параллакса нa рабочих поверхностях 6₅, 6₆ и экранным параллаксом удовлетворяет соотношению

Из формул (2)-(5) следует соотношение (1), справедливое независимо от типа дисплея 3 (например, для трехмерных дисплеев прямого наблюдения, проекционных дисплеев).

Третий частный вариант устройства позволяет измерять расстояния до различных объектов исходной 3Д сцены без использования специальных маркеров за счет фиксации зрительной системой наблюдателя факта совмещения краев двух фрагментов выбранного объекта на границе 9 между этими двумя фрагментами, реализованными в секциях 7, 8 экрана, при этом перемещение краев фрагментов выбранного объекта по глубине (координате z) в пространстве восстановленной 3Д сцены осуществляется перестройкой величины искусственного экранного параллакса (вдоль координаты х). Возможность перемещения границы 9 вдоль координаты у (электронной перестройкой в модуле 2₁ преобразования формата и формирования сдвига изображений) позволяет изменять размеры секций 7, 8 вдоль координаты y и тем самым переходить к указанному электрически управляемому совмещению краев фрагментов для различно расположенных по высоте объектов исходной 3Д сцены.

Первый конкретный пример выполнения третьего частного варианта устройства (Фиг.3) работает следующим образом (Фиг.15). Объект 11 исходной 3Д сцены отображается в верхней секции 7 экрана с одним (положительным) знаком естественного экранного параллакса , что приводит к восстановлению в зрительной системе образа 12, находящегося в заэкранном пространстве. В нижней секции 8 экрана отображается нижняя часть объекта 11 с другим (отрицательным) знаком естественного экранного параллакса , что приводит к восстановлению в зрительной системе образа 13, находящегося перед экраном. Разные знаки и задаются взаимно противоположными порядками чередования изображений в паре ракурсов , относительно пары ракурсов , . Одновременное введение искусственного экранного параллакса одной и той же величины, но разных знаков (отрицательного знака между фрагментами и в верхней секции 7 и положительного знака фрагментами , в нижней секции 8 электронной подстройкой в модуле 2₁ преобразования формата и формирования сдвига изображений ведет к одновременному приближению обоих фрагментов 12 и 13 к плоскости экрана и их итоговому совмещению в этой плоскости с получением объектов 14₁ и 14₂ с одинаковым значением координаты y. По известному компенсирующему значению искусственного экранного параллакса точно определяется величина скомпенсированного естественного экранного параллакса, которая, в свою очередь, однозначно связана с расстоянием от бинокулярного приемника 1 изображений до рассматриваемого объекта 11 исходной 3Д сцены. Калибровка величин позволяет получить соответствующую электронную шкалу для измеряемых величин т.е. для измеряемых расстояний в пространстве исходной 3Д сцены, причем без генерации устройством каких-либо специальных маркеров расстояния в восстановленном пространстве 3Д сцены.

Во втором конкретном примере выполнения третий частный вариант устройства (Фиг.4) работает следующим образом (Фиг.16). Объект 15 исходной 3Д сцены, представленный в верхней секции 7 экрана образом 16 с положительным знаком естественного параллакса , при этом образ 16 зеркально отображен вдоль координаты у относительно объекта 16 исходной 3Д сцены. Вследствие положительного знака в верхней секции 7 экрана образ 16 представляется зрительной системе расположенным за экраном. Объект 17 исходной 3Д сцены представлен в нижней секции 8 с отрицательным знаком естественного параллакса напрямую (без зеркальности) в виде объекта 18, который представляется зрительной системе расположенным перед экраном. Одновременное введение (электронной подстройкой в модуле 2₁ преобразования формата и формирования сдвига изображений) искусственного параллакса одной и той же величины, но разных знаков, в обе секции 7, 8 ведет к совмещению в плоскости экрана обоих фрагментов 16 и 18, и тем самым дает возможность точного определения расстояния до объектов 15, 17 исходной 3Д сцены. Зеркальное отображение одного из объектов относительно координаты у позволяет более точно совместить вдоль оси z оба восстановленных в зрительной системе объекта 16 и 18 (вершины соответствующих им конусов) на границе 9.

Перемещением границы 9 по координате y (электронной подстройкой в модуле 2₁ преобразования формата и формирования сдвига изображений) подводят границу 9 к различным объектам восстановленной 3Д сцены для точного определения расположения каждого из них по глубине исходной 3Д сцены.

Работу четвертого частного варианта устройства (Фиг.5) рассмотрим на конкретном примере - при числе S=2 пар формируемых изображений ракурсов при их взаимном сдвиге на число K=1 пикселей в соседних кадрах (Фиг.17). В нечетных (odd) и четных (even) кадрах в первом такте формируются первая V_L(s=1), V_R(s=1) пара изображений ракурсов, во втором такте - вторая V_L(s=2), V_R(s=2) пара изображений ракурсов, при этом вторая пара сдвинута относительно первой на ширину d одного пикселя изображения. Далее циклы повторяются: в третьем такте опять формируется (без сдвига) первая пара V_L(s=1), V_R(s=1) изображений ракурсов, в четвертом цикле - вторая V_L(s=2), V_R(s=2) пара изображений ракурсов со сдвигом на d и т.д. При этом кадровая частота изображения составляет величину по сравнению со случаем формирования только одной пары ракурсов при кадровой частоте , где критичная частота заметности мерцаний изображения для определенности выбрана из диапазона F_eye≥100 Гц, т.е. при формировании удвоенного числа пар ракурсов кадровая частота изображения увеличена вдвое для обеспечения той же степени слитности восстановления 3Д сцены в зрительной системе 5 наблюдателя по сравнению со случаем формирования одиночной пары ракурсов.

Формирование по крайней мере двух пар изображений ракурсов, сдвинутых относительно друг друга в направлении естественного параллакса в крайнем случае на минимальный интервал, равный одному элементу разрешения (одному пикселю) дисплея размером d, эквивалентно в случае достаточно большой кадровой частоты одновременному предъявлению каждому входу (каждому глазу) зрительной системы по крайней мере двух ракурсов, которые не могут привести к заметному размытию изображения 3Д сцены в силу того, что разница в эквивалентных угловых характеристиках двух ракурсов порядка углового разрешения зрительной системы (углового разрешения зрачка глаза), но создает условия для «отрыва» аккомодации от плоскости экрана. Конкретное число сдвигаемых пар изображений ракурсов и конкретные величины сдвига подбираются экспериментально по достижению приемлемого результата согласования аккомодации и конвергенции.

Бинокулярный приемник 1 изображений может быть выполнен для работы в любом спектральном диапазоне электромагнитного излучения.

Электронные настройки геометрии наблюдаемого пространства 3Д сцены в устройстве выбираются с учетом граничных критериев восстановления 3Д сцены в сознании наблюдателя, соблюдение которых обеспечивает приближение условий работы зрительной системы наблюдателя в процессе восприятия 3Д изображений на выходе устройства к условиям работы зрительной системы при наблюдении объектов реального мира. Конкретно, например, величина экранного параллакса для любого объекта (в том числе одиночной точки) выбирается не превышающей 0,03 от расстояния наблюдателя до плоскости экрана (плоскости нулевого параллакса), что соответствует предельному угловому рассогласованию аккомодации и конвергенции не более 1,6° для двух одновременно наблюдаемых точечных объектов 3Д сцены. Для двух одновременно наблюдаемых точечных объектов 3Д сцены соответствующие предельные величины экранных параллаксов, пересчитанные в углы наблюдения, укладываются в диапазон не менее 0,6° и не более 1,6° для обеспечения их слитного (fusion) восприятия зрительной системой. При этом предельная острота стереоскопического зрения (stereo acuity) зрительной системы выбирается равной 10-30 угловых секунд [3].

Относительно решаемой задачи в первом, втором и третьем частных вариантах устройства все достигаемые технические результаты, а также справедливость соотношений (1)-(5), инвариантны к типу 3Д дисплея, используемого на выходе устройства (т.е. справедливы как для 3Д дисплеев с стереоочками, так и для автостереоскопических дисплеев с любым форматом трехмерного изображения).

Для четвертого частного варианта устройства только использование 3Д дисплея с активными стереоочками на выходе устройства обеспечивает достижение как основного технического результата по согласованию аккомодации и конвергенции, так и достижение дополнительного технического результата в виде упрощения конструкции устройства.

Работа устройства в реальном времени означает отсутствие заметных задержек в предъявлении выходного изображения на экране по сравнению с видеосъемом изображения на входе устройства (работа устройства в режиме «on-line» непосредственно от сигналов бинокулярных приемников изображений). При работе устройства в режиме «off-line» результат видеосъема может быть предварительно записан на аналоговый или цифровой носитель записи во внешнем устройстве хранения, и впоследствии записанный видеосигнал может быть подан на вход электронного блока устройства для воспроизведения в реальном времени.

Промышленная применимость

Изобретению соответствует универсальное устройство стереовидения в реальном времени, с помощью которого, осуществляя электронную подстройку регистрируемых параметров 3Д сцен, можно наблюдать различные трехмерные сцены и процессы в промышленности, науке, медицине, биологии и.т.п.

Возможна реализация устройства со сверхвысокой (до 1 и более кГц) кадровой частотой, особенно актуальной для четвертого частного варианта выполнения устройства. В этом случае дисплей целесообразно выполнить проекционным на основе микродисплея со структурой LCoS (Liquid-Crystal-on-Silicon) [5], а в этой структуре и в затворах активных стереоочков в качестве рабочего вещества использовать, например, сегнетоэлектрический (ferroelectric) жидкий кристалл смектического типа с соответствующим быстродействием при малых управляющих напряжениях [6].

Литература

1. D.V.Snow, J.T.Strom, R.H.Kraft. Stereoscopic three-dimensional metrology system and method. - Патент США №7634128, МПК G06K 9/00, опубл. 15.12.2009.

2. J.Ilgner, S.Biedron, M.Westhofen. Practical aspects on the use of stereoscopic applications in operative theatres. - Proc. SPIE, 2010, v.7524, pp.752402-1…752402-7.

3. H.A.Валюс. Стереоскопия. - М., Изд. АН СССР, 1962.

4. N.Nago, Y.Shinozaki, Y.Takaki. SMV256: Super multiview display with 256 viewpoints using multiple projections of lenticular displays. - Proc. SPIE, 2010, v.7524, pp.75241S-1…75241S-7.

5. G.J.Lee, J.H.Kim, K.J.Yang, H.K.Lyu, Y.Y.Lee, H.J.Chung, B.D.Choi. LCOS Microdisplay with Low Voltage Driving. - Proc. International Display Workshops (IDW'10), 2010, Japan, Fukuoka, pp.407-410.

6. A.L.Andreev, V.A.Ezhov, I.N.Kompanets, A.G.Sobolev. Fast LC Devices with Lowest Control Voltage. - Proc. International Display Workshops (IDW'10), 2010, Japan, Fukuoka, pp.1811-1812.

Изобретение относится к стереоскопической видеотехнике. Техническим результатом является создание универсального устройства наблюдения трехмерных сцен в реальном времени без использования компьютера. Результат достигается тем, что устройство наблюдения трехмерных сцен выполнено с электрически подстраиваемыми свойствами пространства наблюдаемой трехмерной сцены для согласования аккомодации и конвергенции зрительной системы наблюдателя, а также с возможностью точного измерения пространственного расположения выбранного объекта трехмерной сцены без использования специальных пространственных маркеров - за счет электрической подстройки пространственного совпадения двух фрагментов выбранного объекта, отображаемых во взаимно противофазных форматах. 5 з.п. ф-лы, 17 ил.

1. Устройство стереовидения в реальном времени, содержащее по крайней мере один бинокулярный приемник изображений, электронный блок обработки изображений, дисплей и активные стереоочки, вход которых оптически сопряжен с выходом дисплея, левое и правое окна стереоочков оптически сопряжены соответственно с левым и правым входом зрительной системы наблюдателя, при этом дисплей выполнен с попеременным форматом изображений ракурсов трехмерной сцены, выход бинокулярного приемника изображений подключен к входу электронного блока обработки изображений, выход которого соединен с входом дисплея, отличающееся тем, что электронный блок обработки изображений выполнен в виде последовательно соединенных модуля преобразования формата и формирования сдвига изображений и модуля умножения кадровой частоты изображений, к выходу синхронизации которого подключен вход синхронизации стереоочков, а электрически управляемые параметры преобразования формата и формирования сдвига изображений выбраны по условию выполнения преобразования подобия между пространствами исходной и восстановленной трехмерных сцен при соблюдении граничных критериев зрительной системы наблюдателя по восстановлению трехмерной сцены.

2. Устройство по п.1, отличающееся тем, что бинокулярный приемник изображений выполнен в виде двух видеокамер, каждая из которых содержит объектив и сенсор с расстоянием между ними, а условие выполнения преобразования подобия между пространствами исходной и восстановленной трехмерных сцен при соблюдении граничных критериев зрительной системы наблюдателя по восстановлению трехмерной сцены задано соотношением , где - расстояние от глаз зрительной системы наблюдателя до плоскости экрана, b_camera - базис бинокулярного приемника изображений, равный расстоянию между осями объективов двух видеокамер, b_eye - базис зрительной системы, - фокусное расстояние объектива видеокамеры, m_display - коэффициент увеличения кадра изображения на экране дисплея по сравнению с размером кадра изображения на сенсоре видеокамеры.

3. Устройство по п.1 или 2, отличающееся тем, что модуль преобразования формата и формирования сдвига изображений выполнен с возможностью формирования искусственного экранного параллакса между изображением левого ракурса и изображением правого ракурса, причем направление искусственного экранного параллакса совпадает с направлением естественного экранного параллакса .

4. Устройство по п.3, отличающееся тем, что формат изображений на экране представлен двумя секциями с границей между ними, расположенной параллельно направлению естественного экранного параллакса и имеющей возможность перемещения в направлении, ортогональном направлению естественного экранного параллакса в первой секции порядок чередования соответствующих первых фрагментов левого и правого изображений противоположен порядку чередования вторых фрагментов левого и правого изображений во второй секции.

5. Устройство по п.4, отличающееся тем, что первые фрагменты левого и правого изображений повернуты на 180 градусов относительно вторых фрагментов левого и правого изображений.

6. Устройство по п.1 или 2, отличающееся тем, что модуль преобразования формата и формирования сдвига изображений и дисплей выполнены с возможностью формирования (s+1)-й пары изображений ракурсов, искусственно сдвинутой на k пикселей в направлении естественного экранного параллакса относительно s-й пары изображений ракурсов, при этом выполняется соотношение , где - кадровая частота изображений в последовательности из S пар изображений ракурсов, F_eye - критичная частота заметности мерцаний в парах изображений для зрительной системы наблюдателя, s и k - натуральные числа (s=2, …, S; k=1, 2,…, K).