МОБИЛЬНОЕ УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ СЕНСОРНОЙ ПЛОСКОСТИ Российский патент 2016 года по МПК G09G5/00 G06F3/01 

Описание патента на изобретение RU2577467C1

Предлагаемое устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов, применение которых постоянно растет.

Известен ряд устройств подобного назначения. Так, в [1] описывается система, осуществляющая проекцию изображения виртуальной клавиатуры на ладонь пользователя. Она включает в себя оптический проектор и телевизионную камеру, расположенные на дужках очков, и связанное с ними вычислительное устройство. Касание пальцем свободной руки изображения виртуальной клавиатуры в определенных точках фиксируется телевизионной камерой и передается в вычислительное устройство, которое определяет, с каким элементом виртуальной клавиатуры произошло касание пальца пользователя.

В [2] рассматривается мобильная носимая система, закрепляемая на предплечье, воспринимающая биопотенциалы соответствующих мышц, участвующих в выработке жестов, совершаемых пальцами кисти. Недостатком данной системы является сложная техническая реализация и низкая помехоустойчивость, необходимость ее индивидуальной калибровки.

В [3] предлагается устройство оцифровки движений конечностей на основе источника структурированной подсветки аналогично используемой в системе Kinect [4]. Однако устройства данного класса не предназначены для работы с малоразмерными объектами типа пальцев руки.

В [5] предложена интерактивная измерительная система, определяющая положения пальцев пользователя в области, ограниченной зонами обзора от двух до четырех и более телевизионных камер, отличающаяся возможностью 3D измерений, однако весьма громоздкая для мобильных приложений.

Известно устройство фирмы Canesta, Inc. [6], функциональная схема которого наиболее близка к предлагаемому изобретению и которое является его прототипом. Это устройство содержит инфракрасный (ИК) излучатель, создающий плоское поле излучения над контролируемой поверхностью, и матричный фотоприемник с объективом, расположенный консольно над поверхностью «виртуальной клавиатуры», поле зрения которого охватывает контролируемую поверхность. Приемная оптическая система связана с вычислительным устройством, в которое вводится оцифрованное изображение контролируемой поверхности. Касание пальцем либо каким-то указателем (стилусом), поверхности «виртуальной клавиатуры» вызывает отражение от пальца (стилуса) части ИК-излучения, формируемого излучателем, и его регистрацию приемной оптической системой. Определение координаты касания основано на решении системы уравнений, описывающей пространственное положение изображения подсвечиваемой части пальца на поверхности фотоприемника, входящего в состав приемной оптической системы, и поверхности, образуемой излучением, формируемым излучателем (триангуляционное уравнение). В результате определяются плоские координаты пальца (стилуса) на поверхности «виртуальной клавиатуры», и принимается решение о том, какая клавиша была «нажата».

Мобильное устройство для организации сенсорной плоскости, предлагаемое в данной заявке, отличается от известных расширенными функциональными возможностями, а именно тем, что оно позволяет организовать взаимодействие с персональным или планшетным компьютером, смартфоном и т.п. дистанционно, не пользуясь встроенными в них сенсорными поверхностями. Для этого оно выполнено в виде браслета, располагаемого на запястье, и позволяет пользователю в любой момент начать набор текста, рисование, редактирование, телефонные вызовы и пр. Кроме того, найдя в окружающей обстановке участок плоской поверхности (стол, окно, подоконник и т.п.), можно «превратить» эту поверхность в сенсорную. Оно содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя, подключенные к первому и второму входам специализированного вычислителя и размещаемые в фиксаторе. При этом телевизионные камеры формируют плоскости обзора, проходящие через определенную заранее строку изображения на фотоприемной матрице и оптический центр объектива каждой телевизионной камеры. Сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер и пересекает возможные положения пальцев кисти пользователя. Далее специализированным вычислителем фиксируется пересечение пальцем пользователя сенсорной плоскости и определяется пространственное положение этого пересечения. Кроме того, сторона фиксатора, противоположная той, которой он крепится к браслету, может иметь плоскую поверхность, параллельную сенсорной плоскости. Это позволяет, зафиксировав плоскую поверхность фиксатора с какой-либо плоскостью, получить тактильную обратную связь, возникающую при касании пальцем твердой поверхности, как и при работе с обычным сенсорным экраном или тачпэдом.

На фиг. 1 приведена функциональная схема предлагаемого устройства, где:

1, 2 - первая и вторая телевизионные камеры,

3 - инфракрасный излучатель,

4 - кисть пользователя,

5 - палец,

6 - браслет,

7 - фиксатор,

8 - специализированный вычислитель,

Ψ1, Ψ2 - телесные углы обзора первой (1) и второй (2) телевизионных камер,

Ω - поток, формируемый инфракрасным излучателем 3,

Φ1 - плоскость обзора первой телевизионной камеры 1,

Φ2 - плоскость обзора второй телевизионной камеры 2,

Θ - сенсорная плоскость.

На фиг. 2 иллюстрируется формирование сенсорной плоскости Θ, где:

M1 - фотоприемная матрица первой телевизионной камеры 1,

М2 - фотоприемная матрица второй телевизионной камеры 2,

O1 - оптический центр объектива первой телевизионной камеры 1,

O2 - оптический центр объектива второй телевизионной камеры 2,

C1 - центр фотоприемной матрицы M1,

C2 - центр фотоприемной матрицы М2,

П - точка, принадлежащая пальцу оператора,

O1 C1 - центральная оптическая ось первой телевизионной камеры 1,

O2 C2 - центральная оптическая ось второй телевизионной камеры 2,

f - фокусное расстояние объективов первой и второй телевизионных камер 1 и 2,

l - расстояние между оптическими центрами объективов O1 и O2,

SM1(1) - 1-я строка фотоприемной матрицы M1,

SM2(1) - 1-я строка фотоприемной матрицы М2.

SM1(n) - n-я строка фотоприемной матрицы М1,

SM2(n) - n-я строка фотоприемной матрицы М2,

SM1(i) - i-я строка фотоприемной матрицы M1,

SM2(i) - i-я строка фотоприемной матрицы М2,

x 1 П - координата изображения точки П на матрице M1,

x 2 П - координата изображения точки П на матрице М2.

На фиг. 3 приведен пример формирования изображений пальца 5, где:

5(t1) - положение пальца 5 в момент времени t1,

5(t2) - положение пальца 5 в момент времени t2,

IM1(t1) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t1,

IM1(t2) - изображение пальца 5 на фотоприемной матрице M1 в момент времени t2,

IM2(t1) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t1,

IM2(t2) - изображение пальца 5 на фотоприемной матрице М2 в момент времени t2.

На фиг. 4 приведена функциональная схема устройства, выполненного по второму пункту формулы изобретения, где:

9 - плоская поверхность фиксатора 7,

10 - рабочая поверхность.

На фиг. 5 приведен пример конструктивного исполнения устройства, где:

РСВ - печатная плата.

ξ - расстояние между сенсорной плоскостью и рабочей поверхностью.

Функционирование данного устройства иллюстрируется фиг. 1 и происходит следующим образом. Устройство охватывает запястье вблизи кисти пользователя 4 с помощью браслета 6. В фиксаторе 7, жестко связанном с браслетом 6, размещаются инфракрасный излучатель 3 и оптически сопряженные с ним две телевизионные камеры 1 и 2. Инфракрасный излучатель 3 создает подсветку, поток которой Ω, пересекает пальцы кисти 4, в том числе и палец 5.

На фиг. 2 показано, как на строке SM1(n) формируется изображение окружающей сцены, находящейся в плоскости Φ1, называемой далее плоскостью обзора первой телевизионной камеры 1.

Аналогично, на строке SM2(n), формируется изображение окружающей сцены, находящейся в плоскости Φ2, называемой далее плоскостью обзора второй телевизионной камеры 2.

Определим сенсорную плоскость

как пересечение плоскостей Φ1 и Φ2. Эта плоскость фактически является зоной стереообзора [7] телевизионных камер 1 и 2. При пересечении пальцем 5 сенсорной плоскости Θ в момент времени t2 изображения IM1(t2) и IM2(t2) будут пересекать строки SM1(n) и SM2(n) соответственно. В случае если оптические оси O1C1 и O2C2 параллельны, изменение номера n в направлении, указанном стрелкой α, вызывает перемещение плоскости Θ в направлении, указанном стрелкой β. Это позволяет пользователю при необходимости отрегулировать положение сенсорной плоскости Θ относительно кисти 4.

Выражение для вычисления координат точки П, соответствующей положению пальца 9, находящегося на пересечении с сенсорной плоскостью Θ, получено из фиг. 2 и имеет вид:

Мощность инфракрасного потока Ω, формируемая излучателем 3, должна быть достаточной, чтобы превысить уровень паразитных составляющих в изображениях окружающей сцены в видеосигналах первой и второй телевизионных камер 1 и 2. Таким образом, специализированный вычислитель 8, обнаружив в видеосигналах i-й строки обеих телевизионных камер 1 и 2 уровни, превышающие пороговые значения (например Uref1 и Uref2), принимает решение о наличии IM1(t2) и IM2(t2). Далее, фиксируя координаты x 1 П и x 2 П пересечения IM1(t2) и IM2(t2) с SM1(n) и SM2(n) соответственно, специализированный вычислитель 8 рассчитывает координаты точки пересечения пальцем 5 сенсорной плоскости Θ по формуле 1. Координаты XП и YП поступают далее в персональный компьютер, смартфон и т.п. для организации интерактивного взаимодействия с его программным обеспечением.

На фиг. 4 представлена модификация предлагаемого устройства, а именно фиксатор 7 на стороне, противоположной той, которой он скреплен с браслетом 6, дополнен плоскостью 9, оптически сопряженной с первой и второй телевизионными камерами, параллельной сенсорной плоскости Θ. Если в распоряжении пользователя есть участок плоской поверхности, например стола, работа с устройством может быть организованна следующим образом. Пользователь прижимает фиксатор 7 плоскостью 9 к рабочей поверхности 10. Далее он может прикоснуться к рабочей поверхности 10 и перемещать по ней палец 5, производя интерактивное взаимодействие с программным обеспечением. Для того чтобы это прикосновение происходило практически одновременно с пересечением сенсорной плоскости Θ, расстояние ξ между сенсорной плоскостью 0 и рабочей поверхностью 10 должно быть не больше нескольких миллиметров, благодаря чему кончик пальца проходит это расстояние практически мгновенно для пользователя.

На фиг. 5 иллюстрируется использование телевизионных камер типа OVM7675 фирмы Omni Vision [8], имеющих габариты 2.9×2.9×2.3 мм, что позволяет получить сенсорную плоскость Θ, находящуюся на расстоянии ξ от поверхности 10 не больше 1.5 мм. Конструктивно, телевизионные камеры и излучатель могут быть расположены на единой многослойной печатной плате 11, с обратной стороны которой размещается специализированный вычислитель 8.

Для передачи вычисленных значений координат в персональный компьютер, смартфон и т.п. устройство может быть снабжено средством беспроводной передачи данных, например Wi-Fi или Bluetooth.

Источники информации

1. Патент США №8228315 В1 от 24.01.2012 г.

2. Патент США №7333090 В2 от 19.02.2008 г.

3. Патент США №7259747 от 21.08.2007 г.

4. Патент США №7170492 В2 от 30.01.2007 г.

5. Публикация № US 2010/0199228 А1 от 05.08.2010 г.

6. Патент США №7006236 В2 от 28.02.2006 г.

7. В.В. Коротаев, А.В. Краснящих. Телевизионные измерительные системы. СПб.: СПбГУ ИТМО, 2008 г., стр. 43.

8. Материал фирмы Omni Vision. OV7695. VGA product brief. Verison 1.0, August 2012.

http://www.ovt.com/download_document.php?type=sensor&sensorid=124.

Похожие патенты RU2577467C1

название год авторы номер документа
Способ жестового управления и устройство для его реализации 2021
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Пьянков Евгений Сергеевич
RU2777910C1
СПОСОБ УПРАВЛЕНИЯ ПОЛОЖЕНИЕМ БОКОВОГО АВТОМОБИЛЬНОГО СТЕКЛА И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ 2014
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Миронов Александр Валерьевич
  • Пьянков Евгений Сергеевич
RU2556734C1
ОПТИЧЕСКОЕ СЕНСОРНОЕ УСТРОЙСТВО 2013
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
  • Закрытной Александр Алексеевич
RU2542947C2
СЕНСОРНОЕ УСТРОЙСТВО С ИЗМЕРЕНИЕМ ДИНАМИЧЕСКОГО ВОЗДЕЙСТВИЯ 2013
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
RU2542949C2
УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ ИНТЕРФЕЙСА С ОБЪЕКТОМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 2011
  • Литманович Дмитрий Михайлович
  • Литманович Андрей Михайлович
RU2486608C2
ОПТИЧЕСКОЕ УСТРОЙСТВО ФОРМИРОВАНИЯ СЕНСОРНОЙ ПОВЕРХНОСТИ 2014
  • Грошихин Евгений Владимирович
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Пьянков Евгений Сергеевич
RU2566958C1
ОПТИЧЕСКОЕ СЕНСОРНОЕ УСТРОЙСТВО С ИЗМЕРЕНИЕМ СКОРОСТИ 2014
  • Литманович Андрей Михайлович
  • Литманович Дмитрий Михайлович
  • Грошихин Евгений Владимирович
  • Пьянков Евгений Сергеевич
RU2575388C1
УСТРОЙСТВО ДЛЯ ТРЕХМЕРНОЙ МАНИПУЛЯЦИИ 2008
  • Литманович Михаил Герцевич
  • Литманович Андрей Михайлович
RU2362216C1
СЕНСОРНАЯ ПАНЕЛЬ НА ОСНОВЕ СВЕТОВОДОВ 2013
  • Литманович Дмитрий Михайлович
RU2541849C2
УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ТРАНСПОРТНЫМ СРЕДСТВОМ 2012
  • Литманович Андрей Михайлович
  • Литманович Михаил Герцевич
  • Никифоров Александр Владимирович
  • Румянцев Дмитрий Константинович
  • Закрытной Александр Алексеевич
RU2518404C2

Иллюстрации к изобретению RU 2 577 467 C1

Реферат патента 2016 года МОБИЛЬНОЕ УСТРОЙСТВО ДЛЯ ОРГАНИЗАЦИИ СЕНСОРНОЙ ПЛОСКОСТИ

Устройство относится к технике интерактивных дисплеев, пользовательских интерфейсов и систем распознавания жестов. Технический результат заключается в обеспечении возможности взаимодействия с персональными вычислительными устройствами дистанционно, не используя встроенные в них сенсорные поверхности. Устройство содержит источник подсветки и оптически сопряженные с ним первую и вторую телевизионные камеры, направленные в сторону пальцев пользователя и подключенные к первому и второму входам специализированного вычислителя. Кроме того, предлагаемое устройство содержит браслет и фиксатор, механически связанный с браслетом, причем браслет размещается на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе. Входящие в состав устройства телевизионные камеры формируют плоскости обзора, проходящие через заданную заранее строку изображения на фотоприемной матрице и оптический центр объектива, каждой телевизионной камеры, создавая сенсорную плоскость. При этом вычислителем фиксируется пересечение пальцем этой плоскости и определяется пространственное положение этого пересечения. 1 з.п. ф-лы, 5 ил.

Формула изобретения RU 2 577 467 C1

1. Мобильное устройство для организации сенсорной плоскости, содержащее источник подсветки и оптически сопряженную с ним телевизионную камеру, направленные в сторону пальцев пользователя, причем телевизионная камера подключена к входу вычислителя, отличающееся тем, что дополнительно содержит вторую телевизионную камеру, оптически сопряженную с первой и подключенную ко второму входу вычислителя, браслет и фиксатор, механически связанный с браслетом, причем браслет размещен на запястье, а первая и вторая телевизионные камеры и источник подсветки размещены в фиксаторе, причем сенсорная плоскость создается пересечением плоскостей обзора первой и второй телевизионных камер, в свою очередь, эти плоскости проходят через заданную строку изображения каждой телевизионной камеры и оптический центр ее объектива, в результате сенсорная плоскость пересекает возможное положение пальцев пользователя, а вычислитель фиксирует пересечение пальцами пользователя сенсорной плоскости и определяет пространственное положение этого пересечения.

2. Мобильное устройство для организации сенсорной плоскости по п. 1, отличающееся тем, что сторона фиксатора, противоположная той, которой он крепится к браслету, имеет плоскую поверхность, параллельную сенсорной плоскости.

Документы, цитированные в отчете о поиске Патент 2016 года RU2577467C1

УЛУЧШЕННОЕ БЕСПРОВОДНОЕ УСТРОЙСТВО УПРАВЛЕНИЯ 2002
  • Говард Роберт Б.
RU2339087C2
Способ и приспособление для нагревания хлебопекарных камер 1923
  • Иссерлис И.Л.
SU2003A1
СПОСОБ ПРИГОТОВЛЕНИЯ ШОКОЛАДНЫХ ИЗДЕЛИЙ 1993
  • Люляев Владимир Сергеевич
RU2041640C1
Способ защиты переносных электрических установок от опасностей, связанных с заземлением одной из фаз 1924
  • Подольский Л.П.
SU2014A1
Дорожная спиртовая кухня 1918
  • Кузнецов В.Я.
SU98A1

RU 2 577 467 C1

Авторы

Литманович Андрей Михайлович

Литманович Дмитрий Михайлович

Грошихин Евгений Владимирович

Пьянков Евгений Сергеевич

Даты

2016-03-20Публикация

2014-09-15Подача