УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ ТРЕХМЕРНОГО ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА Российский патент 2014 года по МПК G09G5/00 

Описание патента на изобретение RU2514086C2

Изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в вычислительные устройства и системы. Оно может использоваться в информационно-справочных и платежных терминалах для организации новых типов взаимодействия с их программным обеспечением, для облегчения проектирования при трехмерном манипулировании объектами в системах автоматизированного проектирования (САПР) и прочих интерактивных и пассивных системах.

Известен ряд устройств аналогичного применения. Это, например, устройства фирмы 3Dconnexion [1, 2] представляющие собой оптико-механические системы трехмерного позиционирования, с шариком или джойстиком. Они предназначены для работы в САПР или в приложениях, которые требуют контроля перемещения чего-либо в виртуальном пространстве (например, Google Earth, 3ds Max, Autodesk Inventor, Компас-3D и т.п.). Очевидным недостатком данной системы является необходимость физического контакта пользователя с джойстиком.

Из бесконтактных оптико-электронных систем аналогичного назначения известно устройство, предложенное фирмой Apple [3]. Это устройство содержит лазер, который с помощью 2 подвижных, оптически сопряженных с ним зеркал осуществляет сканирование рабочей области, в которой могут располагаться пальцы человека-оператора. Отраженное от этих пальцев оптическое излучение попадает на фотоприемник, выход которого соединен с входом фазового детектора. Выходной сигнал фазового детектора пропорционален фазовому сдвигу между сигналом, модулирующим лазерный луч по амплитуде, и сигналом с выхода фотоприемника. Таким образом, в результате сканирования рабочей области можно получить набор расстояний до подсвечиваемых точек на пальцах человека-оператора. Эта информация используется далее для формирования изображений пальцев и выводится на экран монитора. Вычислительное устройство определяет моменты совпадения положения пальцев в рабочей зоне с координатами виртуальных объектов, с которыми осуществляется взаимодействие человека-оператора. Недостатком данного устройства является его сложность, связанная с необходимостью измерения малых фазовых сдвигов, и наличие механической развертки.

Наиболее близким по технической реализации с заявляемым является «Устройство для трехмерной манипуляции» [4]. Это устройство содержит первый и второй излучатели, поверхность, диффузно рассеивающую падающее на нее излучение, и оптически сопряженную с этими излучателями и называемую далее «поверхность теневой локации», на которую поочередно падают световые потоки от первого и второго излучателя. Кроме того, в устройство входит телевизионная камера, зоной обзора которой является оптически сопряженная с ней «поверхность теневой локации». Рабочая область устройства образуется пересечением конусов распространения потоков излучений, падающих на «поверхность теневой локации» от первого и второго излучателей. При этом при введении пальца оператора в рабочую область на «поверхности теневой локации» образуются поочередно, по сигналам вычислительного устройства управляющего включением излучателей, две тени. Их изображения с помощью телевизионной камеры вводятся в вычислительное устройство, которое определяет по ним пространственные координаты пальца и углы его наклона. Эта информация затем вводится в компьютер, к которому подключено данное устройство.

Недостатком данного устройства является пониженное быстродействие, связанное с необходимостью поочередного формирования теней от двух источников излучения и синхронный с этим процесс ввода в вычислительное устройство значений видеосигналов отдельно при включенном первом и втором излучателях.

Целью предлагаемого изобретения является повышение быстродействия и упрощение устройства.

Для этого в известном устройстве, которое содержит первый и второй излучатели, оптически сопряженную с ними «поверхность теневой локации», выполненную в виде диффузно рассеивающей падающее на нее излучение поверхность телевизионную камеру, полем обзора которой является «поверхность теневой локации», и вычислительное устройство на вход которого поступает видеосигнал с выхода телевизионной камеры, упомянутые выше первый и второй излучатели выполнены таким образом, что формируют световые потоки ψ1 и ψ2 с различными спектральными максимумами γ1 и γ2, а телевизионная камера должна быть, по крайней мере, двухспектральной (цветной), причем значение γ1 должно принадлежать одному, а γ2 другому диапазону спектральной чувствительности телевизионной камеры. При появлении в рабочей зоне пальца оператора на «поверхности теневой локации» образуются две полутени, первая, связанная с отсутствием светового потока от первого излучателя, вторая, с отсутствием светового потока от второго излучателя. В вычислительное устройство вводятся изображения «поверхности теневой локации», в двух спектральных диапазонах телевизионной камеры и далее находятся границы обоих полутеней, по которым определяются пространственные координаты пальца оператора.

На фиг.1 приведена функциональная схема предлагаемого устройства,

где 1, 2 - первый и второй излучатели, формирующие световые потоки ψ1 и ψ2 с длинами волн γ1 и γ2 соответственно;

3 - телевизионная камера с углом обзора Ф;

4 - вычислительное устройство;

5 - «поверхность теневой локации»;

Устройство функционирует следующим образом.

Излучатели 1 и 2 представляют собой в достаточном приближении точечные источники излучения, например мощные светодиоды красного и зеленого цветового диапазонов, причем их оптические оси должны проходить через «поверхность теневой локации». Для того чтобы их излучение максимально эффективно было использовано, т.е. не выходить за пределы «поверхности теневой локации», они могут быть снабжены фокусирующей оптикой. Эти излучатели создают два потока излучения ψ1 и ψ2 с максимумом в спектрах γ1 и γ2, в частности для красного и зеленого светодиодов их значения равны 620-630 нм [5] и 520-530 нм [6] соответственно.

Отраженные от «поверхности теневой локации» световые потоки φ1 (частичное отражение потока ψ1) и φ2 (частичное отражение потока ψ2) регистрируется телевизионной камерой 3, которая представляет собой стандартную камеру цветного изображения с выходными сигналами RGB (красная, зеленая и голубая составляющие яркости) в аналоговом или цифровом виде и которые поступают далее на вход вычислительного устройства 4. Рабочая область устройства образуется пересечением конусов распространения потоков ψ1 и ψ2, падающих на поверхность «теневой локации» 5. При этом в случае появления в рабочей области пальца человека-оператора на «поверхности теневой локации» образуются две полутени.

Сказанное иллюстрируется оптико-геометрической схемой, изображенной на фиг.2,

Где 6, 7 - полутени, образуемые на «поверхности теневой локации».

8 - объектив телевизионной камеры;

9 - фотоприемная матрица в составе телевизионной камеры 3;

10, 11 - изображения полутеней 6 и 7 соответственно;

12 - кисть человека-оператора.

Изображение «поверхности теневой локации» на фотоприемной матрице 9 имеет следующие особенности:

- в области 10 отсутствуют спектральные составляющие светового потока формируемого излучателем 1 и присутствуют спектральные составляющие светового потока, формируемого излучателем 2;

- в области 11 отсутствуют спектральные составляющие светового потока формируемого излучателем 2 и присутствуют спектральные составляющие светового потока, формируемого излучателем 1;

- по остальному изображению «поверхности теневой локации» присутствуют световые потоки, формируемые как излучателем 1, так и излучателем 2.

Таким образом, если 1-й излучатель представляет собой светодиод красного цвета, а второй излучатель светодиод зеленого цвета, то в видеосигнале телевизионной камеры 3 области 10 и 11 могут быть обнаружены на основании следующего правила:

( 1 ) е с л и : { U n o i s e R < R ( t ) < U s i g n a l R ,   т о  обнаружена область 10; U n o i s e G < G ( t ) < U s i g n a l G ,   т о  обнаружена область 11 .

где R(t) и G(t) - текущие значения цветовых R и G составляющих видеосигнала;

U n o i s e R , U n o i s e G - пороговый уровень шумовых составляющих видеосигнала (пиковые значения паразитных засветок) в спектральных диапазонах R и G изображения «поверхности теневой локации»;

U s i g n a l R , U s i g n a l G - пороговый уровень полезных значений видеосигнала (минимальные значения полезного сигнала) в спектральных диапазонах R и G изображения «поверхности теневой локации»;

Расчетные формулы, позволяющие определить пространственные координаты пальца человека-оператора, могут быть выведены на основании геометрической схемы, изображенной на фиг.3,

где I1(xI1,yI1,zI1) - координаты оптического центра первого излучателя;

I2(xI2,yI2,zI2) - координаты оптического центра второго излучателя;

5 - «поверхность теневой локации»;

6,7 - полутени;

a, b - характерные точки, принадлежащие поверхности пальца человека-оператора (кончик пальца и любая из точек отстоящая от кончика пальца соответственно);

0XYZ - базовая система координат;

a 1(xa1,yа1,0) - координаты проекции точки а на плоскости 0XY, причем проектирующая прямая выходит из оптического центра первого излучателя;

a 2(xa2,yа2,0) - координаты проекции точки а на плоскости 0XY, причем проектирующая прямая выходит из оптического центра второго излучателя;

b1(xb1,yb1,0) - координаты проекции точки b на плоскости 0XY, причем проектирующая прямая выходит из оптического центра первого излучателя;

b2(xb2,yb2,0) - координаты проекции точки b на плоскости 0XY, причем проектирующая прямая выходит из оптического центра второго излучателя.

Координаты точек а 1, а 2, b1, b2 могут быть получены из значений координат их изображений на поверхности фотоприемной матрицы 9, умножением на величину линейного увеличения оптической системы [7].

Уравнение прямой проходящей через 2 заданные точки (X1,Y1,Z1) и (X2,Y2,Z2) имеет вид [8]:

( 2 ) X X 1 X 2 X 1 = Y Y 1 Y 2 Y 1 = Z Z 1 Z 2 Z 1 .

И может быть представлено в виде системы:

( 3 ) { X X 1 X 2 X 1 = Y Y 1 Y 2 Y 1 , Y Y 1 Y 2 Y 1 = Z Z 1 Z 2 Z 1 .

Переходя к используемым в тексте значениям координат I1, I2, а 1, а 2, b1, b2, получаем следующие (переопределенные) системы уравнений.

Для точки а:

( 4 ) { x a x I 1 x a 1 x I 1 = y a y I 1 y a 1 y I 1 , y a y I 1 y a 1 y I 1 = z a z I 1 z a 1 z I 1 , x a x I 2 x a 2 x I 2 = y a y I 2 y a 2 y I 2 , y a y I 2 y a 2 y I 2 = z a z I 2 z a 2 z I 2 .

Для точки b:

( 5 ) { x b x I 1 x b 1 x I 1 = y b y I 1 y b 1 y I 1 , y b y I 1 y b 1 y I 1 = z b z I 1 z b 1 z I 1 , x b x I 2 x b 2 x I 2 = y b y I 2 y b 2 y I 2 , y b y I 2 y b 2 y I 2 = z b z I 2 z b 2 z I 2 .

Решения систем 4 и 5 относительно неизвестных xa, ya, za и xb, yb, zb дает координаты точек а и b в системе OXYZ.

Направляющие косинусы вектора проходящего через точки а и Ь, могут быть получены из формул[6]:

( 6 ) { c o s α = ( x a x b ) | a | , c o s β = ( y a y b ) | a | , c o s γ = ( z a z b ) | a | ,

где | a | = ( x a x b ) 2 + ( y a y b ) 2 + ( z a z b ) 2 .

Во втором варианте исполнения данного устройства, «поверхность теневой локации» представляет собой оптически прозрачный, диффузно рассеивающий излучение материал (например, матовое стекло). При этом телевизионная камера 3 располагается под «поверхностью теневой локации», и оптически сопряжена с этой поверхностью, как показано на фиг.4, и регистрирует излучения, падающие на нее.

Вычислительное устройство может быть выполнено на базе производительного процессора, ориентированного на потоковую обработку видеоинформации, например типа TMS320DM8148 на основе технологии DaVinci [9]. Кроме того, в случае использования телевизионной камеры, имеющей стандартный USB интерфейс, она может быть подключена непосредственно к персональному компьютеру, на котором и будут реализованы вычисления пространственного положения.

Литература

1. http://www.3dconnexion.com/

2. Патент США №8063883 В2 от 22 ноября 2011 г.

3. Патент США №8018579 В 1 от 13 сентября 2011 г.

4. Патент РФ №2362216 от 12.05.2008 г.(прототип).

5. http://www.transistor.ru/pdf/arlight/powerleds/ARPL Emitter 3W-RED-140-RER3E.pdf.

6. http://www.transistor.ru/pdf/arlight/powerleds/ARPL_Emitter-3 W-GREEN-140-GNH3E.pdf.

7. Справочник конструктора оптико-механических приборов. Под общ. ред. В. А. Панова. Ленинград, Машиностроение, 1980 г.

8. М. Я. Выгодский. Справочник по высшей математике. Москва, ACT, 2006 г.

9. http://www.ti.com/lsds/ti/dsp/platform/davinci/device.page.

Похожие патенты RU2514086C2

название год авторы номер документа
УСТРОЙСТВО ДЛЯ ТРЕХМЕРНОЙ МАНИПУЛЯЦИИ 2008
  • Литманович Михаил Герцевич
  • Литманович Андрей Михайлович
RU2362216C1
СЕНСОРНОЕ УСТРОЙСТВО С ИЗМЕРЕНИЕМ ДИНАМИЧЕСКОГО ВОЗДЕЙСТВИЯ 2013
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
RU2542949C2
ОПТИЧЕСКОЕ СЕНСОРНОЕ УСТРОЙСТВО 2013
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
  • Закрытной Александр Алексеевич
RU2542947C2
УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ 2012
  • Литманович Андрей Михайлович
  • Литманович Михаил Герцевич
  • Никифоров Александр Владимирович
  • Румянцев Дмитрий Константинович
  • Закрытной Александр Алексеевич
RU2518404C2
УСТРОЙСТВО ДЛЯ СОЗДАНИЯ СЕНСОРНОЙ ПОВЕРХНОСТИ 2012
  • Литманович Андрей Михайлович
  • Литманович Михаил Герцевич
  • Никифоров Александр Владимирович
  • Румянцев Дмитрий Константинович
  • Чистяков Игорь Михайлович
RU2486575C1
ОПТИЧЕСКОЕ УСТРОЙСТВО ФОРМИРОВАНИЯ СЕНСОРНОЙ ПОВЕРХНОСТИ 2014
  • Грошихин Евгений Владимирович
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Пьянков Евгений Сергеевич
RU2566958C1
УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ ИНТЕРФЕЙСА С ОБЪЕКТОМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 2011
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
RU2486608C2
ОПТИЧЕСКОЕ СЕНСОРНОЕ УСТРОЙСТВО С ИЗМЕРЕНИЕМ СКОРОСТИ 2014
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Грошихин Евгений Владимирович
  • Пьянков Евгений Сергеевич
RU2575388C1
УСТРОЙСТВО ДЛЯ ИЗМЕРЕНИЯ КООРДИНАТ 2013
  • Литманович Андрей Михайлович
  • Литманович Михаил Герцевич
  • Никифоров Александр Владимирович
  • Румянцев Дмитрий Константинович
  • Закрытной Александр Алексеевич
  • Соколенко Владимир Александрович
RU2548923C2
Способ жестового управления и устройство для его реализации 2021
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Пьянков Евгений Сергеевич
RU2777910C1

Иллюстрации к изобретению RU 2 514 086 C2

Реферат патента 2014 года УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ ТРЕХМЕРНОГО ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА

Изобретение относится к технике оптико-электронных измерительных систем и устройств ввода информации в вычислительные устройства и системы. Технический результат заключается в повышении быстродействия устройства. Такой результат достигается тем, что устройство содержит оптически сопряженные первый и второй излучатели, «поверхность теневой локации», телевизионную камеру и вычислительное устройство, причем излучатели формируют световые потоки с различающимися спектральными максимумами γ1 и γ2, а телевизионная камера имеет соответствующие отдельные спектральные каналы для приема этих излучений, при этом координаты полутеней, образующихся от пальца человека-оператора, находящегося на пути этих световых потоков, вводятся в вычислительное устройство, которое по их значениям рассчитывает его пространственное положение. 1 з.п. ф-лы, 4 ил.

Формула изобретения RU 2 514 086 C2

1. Устройство для организации трехмерного пользовательского интерфейса, содержащее оптически сопряженные первый и второй излучатели, телевизионную камеру и «поверхность теневой локации», а также вычислительное устройство, вход которого связан с выходом телевизионной камеры, отличающееся тем, что первый и второй излучатели формируют световые потоки, падающие на «поверхность теневой локации» с различающимися спектральными максимумами γ1 и γ2, а телевизионная камера имеет соответствующие отдельные спектральные каналы для приема этих излучений, при этом изображения полутеней на «поверхности теневой локации», образующиеся пальцем человека-оператора, находящегося на пути обоих световых потоков, регистрируется телевизионной камерой и вводится в вычислительное устройство, которое по значениям координат этих полутеней рассчитывает пространственное положение этого пальца.

2. Устройство по п.1, отличающееся тем, что «поверхность теневой локации» выполнена оптически прозрачной, диффузно рассеивающей излучение, при этом первый и второй излучатели находятся по одну, а телевизионная камера по другую сторону от этой поверхности.

Документы, цитированные в отчете о поиске Патент 2014 года RU2514086C2

УСТРОЙСТВО ДЛЯ ТРЕХМЕРНОЙ МАНИПУЛЯЦИИ 2008
  • Литманович Михаил Герцевич
  • Литманович Андрей Михайлович
RU2362216C1
US 8018579 B1, 13.09.2011
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
RU 2005120691 A, 27.06.2006
ГРАФИЧЕСКИЙ ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС ДЛЯ ТРЕХМЕРНОГО ПРЕДСТАВЛЕНИЯ КОЛЛЕКЦИИ ДАННЫХ НА ОСНОВЕ АТРИБУТА ДАННЫХ 2004
  • Энтони Колин Рэй
  • Сэн-Мишель Стефан
  • Одинз-Лукас Зеке Бук
  • Шварц Йордан Лютер Кинг
  • Бэнкс Ричард Малкольм
  • Харви Маркус Саймон Ховелл
  • Камминз Чарльз
  • Стабб Чарльз В.
  • Лигамери Марк Ричард
RU2369897C2
СПОСОБ СОЗДАНИЯ СТЕРЕОСКОПИЧЕСКОГО ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ КОМПЬЮТЕРА 2008
  • Алчинов Александр Иванович
  • Подловченко Анатолий Борисович
  • Викторов Андрей Владимирович
  • Иванов Анатолий Витальевич
RU2380763C1

RU 2 514 086 C2

Авторы

Литманович Андрей Михайлович

Литманович Михаил Герцевич

Никифоров Александр Владимирович

Румянцев Дмитрий Константинович

Даты

2014-04-27Публикация

2013-07-18Подача