УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ ТРЕХМЕРНОГО ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА Российский патент 2014 года по МПК G09G5/00 

Изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в вычислительные устройства и системы. Оно может использоваться в информационно-справочных и платежных терминалах для организации новых типов взаимодействия с их программным обеспечением, для облегчения проектирования при трехмерном манипулировании объектами в системах автоматизированного проектирования (САПР) и прочих интерактивных и пассивных системах.

Известен ряд устройств аналогичного применения. Это, например, устройства фирмы 3Dconnexion [1, 2] представляющие собой оптико-механические системы трехмерного позиционирования, с шариком или джойстиком. Они предназначены для работы в САПР или в приложениях, которые требуют контроля перемещения чего-либо в виртуальном пространстве (например, Google Earth, 3ds Max, Autodesk Inventor, Компас-3D и т.п.). Очевидным недостатком данной системы является необходимость физического контакта пользователя с джойстиком.

Из бесконтактных оптико-электронных систем аналогичного назначения известно устройство, предложенное фирмой Apple [3]. Это устройство содержит лазер, который с помощью 2 подвижных, оптически сопряженных с ним зеркал осуществляет сканирование рабочей области, в которой могут располагаться пальцы человека-оператора. Отраженное от этих пальцев оптическое излучение попадает на фотоприемник, выход которого соединен с входом фазового детектора. Выходной сигнал фазового детектора пропорционален фазовому сдвигу между сигналом, модулирующим лазерный луч по амплитуде, и сигналом с выхода фотоприемника. Таким образом, в результате сканирования рабочей области можно получить набор расстояний до подсвечиваемых точек на пальцах человека-оператора. Эта информация используется далее для формирования изображений пальцев и выводится на экран монитора. Вычислительное устройство определяет моменты совпадения положения пальцев в рабочей зоне с координатами виртуальных объектов, с которыми осуществляется взаимодействие человека-оператора. Недостатком данного устройства является его сложность, связанная с необходимостью измерения малых фазовых сдвигов, и наличие механической развертки.

Наиболее близким по технической реализации с заявляемым является «Устройство для трехмерной манипуляции» [4]. Это устройство содержит первый и второй излучатели, поверхность, диффузно рассеивающую падающее на нее излучение, и оптически сопряженную с этими излучателями и называемую далее «поверхность теневой локации», на которую поочередно падают световые потоки от первого и второго излучателя. Кроме того, в устройство входит телевизионная камера, зоной обзора которой является оптически сопряженная с ней «поверхность теневой локации». Рабочая область устройства образуется пересечением конусов распространения потоков излучений, падающих на «поверхность теневой локации» от первого и второго излучателей. При этом при введении пальца оператора в рабочую область на «поверхности теневой локации» образуются поочередно, по сигналам вычислительного устройства управляющего включением излучателей, две тени. Их изображения с помощью телевизионной камеры вводятся в вычислительное устройство, которое определяет по ним пространственные координаты пальца и углы его наклона. Эта информация затем вводится в компьютер, к которому подключено данное устройство.

Недостатком данного устройства является пониженное быстродействие, связанное с необходимостью поочередного формирования теней от двух источников излучения и синхронный с этим процесс ввода в вычислительное устройство значений видеосигналов отдельно при включенном первом и втором излучателях.

Целью предлагаемого изобретения является повышение быстродействия и упрощение устройства.

Для этого в известном устройстве, которое содержит первый и второй излучатели, оптически сопряженную с ними «поверхность теневой локации», выполненную в виде диффузно рассеивающей падающее на нее излучение поверхность телевизионную камеру, полем обзора которой является «поверхность теневой локации», и вычислительное устройство на вход которого поступает видеосигнал с выхода телевизионной камеры, упомянутые выше первый и второй излучатели выполнены таким образом, что формируют световые потоки ψ₁ и ψ₂ с различными спектральными максимумами γ₁ и γ₂, а телевизионная камера должна быть, по крайней мере, двухспектральной (цветной), причем значение γ₁ должно принадлежать одному, а γ₂ другому диапазону спектральной чувствительности телевизионной камеры. При появлении в рабочей зоне пальца оператора на «поверхности теневой локации» образуются две полутени, первая, связанная с отсутствием светового потока от первого излучателя, вторая, с отсутствием светового потока от второго излучателя. В вычислительное устройство вводятся изображения «поверхности теневой локации», в двух спектральных диапазонах телевизионной камеры и далее находятся границы обоих полутеней, по которым определяются пространственные координаты пальца оператора.

На фиг.1 приведена функциональная схема предлагаемого устройства,

где 1, 2 - первый и второй излучатели, формирующие световые потоки ψ₁ и ψ₂ с длинами волн γ₁ и γ₂ соответственно;

3 - телевизионная камера с углом обзора Ф;

4 - вычислительное устройство;

5 - «поверхность теневой локации»;

Устройство функционирует следующим образом.

Излучатели 1 и 2 представляют собой в достаточном приближении точечные источники излучения, например мощные светодиоды красного и зеленого цветового диапазонов, причем их оптические оси должны проходить через «поверхность теневой локации». Для того чтобы их излучение максимально эффективно было использовано, т.е. не выходить за пределы «поверхности теневой локации», они могут быть снабжены фокусирующей оптикой. Эти излучатели создают два потока излучения ψ₁ и ψ₂ с максимумом в спектрах γ₁ и γ₂, в частности для красного и зеленого светодиодов их значения равны 620-630 нм [5] и 520-530 нм [6] соответственно.

Отраженные от «поверхности теневой локации» световые потоки φ₁ (частичное отражение потока ψ₁) и φ₂ (частичное отражение потока ψ₂) регистрируется телевизионной камерой 3, которая представляет собой стандартную камеру цветного изображения с выходными сигналами RGB (красная, зеленая и голубая составляющие яркости) в аналоговом или цифровом виде и которые поступают далее на вход вычислительного устройства 4. Рабочая область устройства образуется пересечением конусов распространения потоков ψ₁ и ψ₂, падающих на поверхность «теневой локации» 5. При этом в случае появления в рабочей области пальца человека-оператора на «поверхности теневой локации» образуются две полутени.

Сказанное иллюстрируется оптико-геометрической схемой, изображенной на фиг.2,

Где 6, 7 - полутени, образуемые на «поверхности теневой локации».

8 - объектив телевизионной камеры;

9 - фотоприемная матрица в составе телевизионной камеры 3;

10, 11 - изображения полутеней 6 и 7 соответственно;

12 - кисть человека-оператора.

Изображение «поверхности теневой локации» на фотоприемной матрице 9 имеет следующие особенности:

- в области 10 отсутствуют спектральные составляющие светового потока формируемого излучателем 1 и присутствуют спектральные составляющие светового потока, формируемого излучателем 2;

- в области 11 отсутствуют спектральные составляющие светового потока формируемого излучателем 2 и присутствуют спектральные составляющие светового потока, формируемого излучателем 1;

- по остальному изображению «поверхности теневой локации» присутствуют световые потоки, формируемые как излучателем 1, так и излучателем 2.

Таким образом, если 1-й излучатель представляет собой светодиод красного цвета, а второй излучатель светодиод зеленого цвета, то в видеосигнале телевизионной камеры 3 области 10 и 11 могут быть обнаружены на основании следующего правила:

$$\left(1\right)если:\{\begin{array}{l}{U}_{noise}^R<R\left(t\right)<U_{signal}^R,то\text{ обнаружена область 10;}\\ U_{noise}^G<G\left(t\right)<U_{signal}^G,то\text{ обнаружена область 11}\text{.}\end{array}$$

где R(t) и G(t) - текущие значения цветовых R и G составляющих видеосигнала;

$$U_{noise}^R$$ , $$U_{noise}^G$$ - пороговый уровень шумовых составляющих видеосигнала (пиковые значения паразитных засветок) в спектральных диапазонах R и G изображения «поверхности теневой локации»;

$$U_{signal}^R$$ , $$U_{signal}^G$$ - пороговый уровень полезных значений видеосигнала (минимальные значения полезного сигнала) в спектральных диапазонах R и G изображения «поверхности теневой локации»;

Расчетные формулы, позволяющие определить пространственные координаты пальца человека-оператора, могут быть выведены на основании геометрической схемы, изображенной на фиг.3,

где I₁(x_I1,y_I1,z_I1) - координаты оптического центра первого излучателя;

I₂(x_I2,y_I2,z_I2) - координаты оптического центра второго излучателя;

5 - «поверхность теневой локации»;

6,7 - полутени;

a, b - характерные точки, принадлежащие поверхности пальца человека-оператора (кончик пальца и любая из точек отстоящая от кончика пальца соответственно);

0XYZ - базовая система координат;

a ₁(x_a1,y_а1,0) - координаты проекции точки а на плоскости 0XY, причем проектирующая прямая выходит из оптического центра первого излучателя;

a ₂(x_a2,y_а2,0) - координаты проекции точки а на плоскости 0XY, причем проектирующая прямая выходит из оптического центра второго излучателя;

b₁(x_b1,y_b1,0) - координаты проекции точки b на плоскости 0XY, причем проектирующая прямая выходит из оптического центра первого излучателя;

b₂(x_b2,y_b2,0) - координаты проекции точки b на плоскости 0XY, причем проектирующая прямая выходит из оптического центра второго излучателя.

Координаты точек а ₁, а ₂, b₁, b₂ могут быть получены из значений координат их изображений на поверхности фотоприемной матрицы 9, умножением на величину линейного увеличения оптической системы [7].

Уравнение прямой проходящей через 2 заданные точки (X₁,Y₁,Z₁) и (X₂,Y₂,Z₂) имеет вид [8]:

$$\left(2\right)\begin{array}{cc}& \end{array}\frac{X-X_1}{X_2-X_1}=\frac{Y-Y_1}{Y_2-Y_1}=\frac{Z-Z_1}{Z_2-Z_1}.$$

И может быть представлено в виде системы:

$$\left(3\right)\begin{array}{cc}& \end{array}\{\begin{array}{l}\frac{X-X_1}{X_2-X_1}=\frac{Y-Y_1}{Y_2-Y_1},\\ \frac{Y-Y_1}{Y_2-Y_1}=\frac{Z-Z_1}{Z_2-Z_1}.\end{array}$$

Переходя к используемым в тексте значениям координат I₁, I₂, а ₁, а ₂, b₁, b₂, получаем следующие (переопределенные) системы уравнений.

Для точки а:

$$\left(4\right)\begin{array}{cc}& \end{array}\{\begin{array}{l}\frac{x_a-x_{I1}}{x_{a1}-x_{I1}}=\frac{y_a-y_{I1}}{y_{a1}-y_{I1}},\\ \frac{y_a-y_{I1}}{y_{a1}-y_{I1}}=\frac{z_a-z_{I1}}{z_{a1}-z_{I1}},\\ \frac{x_a-x_{I2}}{x_{a2}-x_{I2}}=\frac{y_a-y_{I2}}{y_{a2}-y_{I2}},\\ \frac{y_a-y_{I2}}{y_{a2}-y_{I2}}=\frac{z_a-z_{I2}}{z_{a2}-z_{I2}}.\end{array}$$

Для точки b:

$$\left(5\right)\begin{array}{cc}& \end{array}\{\begin{array}{l}\frac{x_b-x_{I1}}{x_{b1}-x_{I1}}=\frac{y_b-y_{I1}}{y_{b1}-y_{I1}},\\ \frac{y_b-y_{I1}}{y_{b1}-y_{I1}}=\frac{z_b-z_{I1}}{z_{b1}-z_{I1}},\\ \frac{x_b-x_{I2}}{x_{b2}-x_{I2}}=\frac{y_b-y_{I2}}{y_{b2}-y_{I2}},\\ \frac{y_b-y_{I2}}{y_{b2}-y_{I2}}=\frac{z_b-z_{I2}}{z_{b2}-z_{I2}}.\end{array}$$

Решения систем 4 и 5 относительно неизвестных x_a, y_a, z_a и x_b, y_b, z_b дает координаты точек а и b в системе OXYZ.

Направляющие косинусы вектора проходящего через точки а и Ь, могут быть получены из формул[6]:

$$\left(6\right)\begin{array}{cc}& \end{array}\{\begin{array}{c}cos\alpha =\frac{(x_a-x_b)}{\left|a\right|},\\ cos\beta =\frac{(y_a-y_b)}{\left|a\right|},\\ cos\gamma =\frac{(z_a-z_b)}{\left|a\right|},\end{array}$$

где $$\left|a\right|=\sqrt{{(x_a-x_b)}^2+{(y_a-y_b)}^2+{(z_a-z_b)}^2}.$$

Во втором варианте исполнения данного устройства, «поверхность теневой локации» представляет собой оптически прозрачный, диффузно рассеивающий излучение материал (например, матовое стекло). При этом телевизионная камера 3 располагается под «поверхностью теневой локации», и оптически сопряжена с этой поверхностью, как показано на фиг.4, и регистрирует излучения, падающие на нее.

Вычислительное устройство может быть выполнено на базе производительного процессора, ориентированного на потоковую обработку видеоинформации, например типа TMS320DM8148 на основе технологии DaVinci [9]. Кроме того, в случае использования телевизионной камеры, имеющей стандартный USB интерфейс, она может быть подключена непосредственно к персональному компьютеру, на котором и будут реализованы вычисления пространственного положения.

Литература

1. http://www.3dconnexion.com/

2. Патент США №8063883 В2 от 22 ноября 2011 г.

3. Патент США №8018579 В 1 от 13 сентября 2011 г.

4. Патент РФ №2362216 от 12.05.2008 г.(прототип).

5. http://www.transistor.ru/pdf/arlight/powerleds/ARPL Emitter 3W-RED-140-RER3E.pdf.

6. http://www.transistor.ru/pdf/arlight/powerleds/ARPL_Emitter-3 W-GREEN-140-GNH3E.pdf.

7. Справочник конструктора оптико-механических приборов. Под общ. ред. В. А. Панова. Ленинград, Машиностроение, 1980 г.

8. М. Я. Выгодский. Справочник по высшей математике. Москва, ACT, 2006 г.

9. http://www.ti.com/lsds/ti/dsp/platform/davinci/device.page.

Изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в вычислительные устройства и системы. Технический результат заключается в повышении быстродействия устройства. Такой результат достигается тем, что устройство содержит оптически сопряженные первый и второй излучатели, «поверхность теневой локации», телевизионную камеру и вычислительное устройство, причем излучатели формируют световые потоки с различающимися спектральными максимумами γ₁ и γ₂, а телевизионная камера имеет соответствующие отдельные спектральные каналы для приема этих излучений, при этом координаты полутеней, образующихся от пальца человека-оператора, находящегося на пути этих световых потоков, вводятся в вычислительное устройство, которое по их значениям рассчитывает его пространственное положение. 1 з.п. ф-лы, 4 ил.

1. Устройство для организации трехмерного пользовательского интерфейса, содержащее оптически сопряженные первый и второй излучатели, телевизионную камеру и «поверхность теневой локации», а также вычислительное устройство, вход которого связан с выходом телевизионной камеры, отличающееся тем, что первый и второй излучатели формируют световые потоки, падающие на «поверхность теневой локации» с различающимися спектральными максимумами γ₁ и γ₂, а телевизионная камера имеет соответствующие отдельные спектральные каналы для приема этих излучений, при этом изображения полутеней на «поверхности теневой локации», образующиеся пальцем человека-оператора, находящегося на пути обоих световых потоков, регистрируется телевизионной камерой и вводится в вычислительное устройство, которое по значениям координат этих полутеней рассчитывает пространственное положение этого пальца.

2. Устройство по п.1, отличающееся тем, что «поверхность теневой локации» выполнена оптически прозрачной, диффузно рассеивающей излучение, при этом первый и второй излучатели находятся по одну, а телевизионная камера по другую сторону от этой поверхности.