УСТРОЙСТВО ДЛЯ ИЗМЕРЕНИЯ КООРДИНАТ Российский патент 2015 года по МПК G01B11/03 

Изобретение относится к технике оптико-электронных систем и, в частности, к оптическим сенсорным панелям. Предлагаемое устройство отличается от устройств аналогичного назначения расширенными функциональными возможностями, а именно измерением скорости, с которой производится соприкосновение пальца или стилуса с сенсорной панелью. Скорость соприкосновения с сенсорной панелью фактически отображает силу удара по графическим изображениям, например на экране монитора, что в свою очередь расширяет возможности интерактивного взаимодействия. Механическим аналогом такого взаимодействия может служить фортепианная клавиатура, сила удара в которой определяет громкость звучания соответствующих клавиш.

В общем случае, измерение скорости касания требует высокой скорости обновления информации о положении кончика пальца или стилуса как минимум в двух точках, прилегающих к поверхности сенсорной панели.

Известен ряд сенсорных панелей, основанных на оптических способах определения координат.

Так, например, большую группу таких устройств образуют те, в которых используется триангуляционный метод. В устройствах, предложенных в патентах США №6480187 от 12.11.2002 г.[1], №6492633 от 10.12.2002 г.[2], №6844539 от 18.01.2005 г.[3], №7522156 от 21.04.2009 г.[4], используется регулярная отражающая структура, расположенная на трех сторонах четырехугольного экрана. Далее, при помощи 2-х сканирующих приемопередающих оптических модулей, расположенных на краях четвертой стороны, анализируется уровень отраженных от этой структуры излучений. При появлении на их пути пальца (стилуса) специализированный вычислитель, входящий в состав этих устройств, регистрирует угловые координаты затененной области. Наличие в этих устройствах механических оптико-электронных сканеров не позволяет получить быстродействие, требуемое для определения скорости касания.

Предложен также ряд устройств, в которых триангуляционный метод реализован на 2-х конвергентных и расположенных в углах сенсорного экрана телевизионных камерах. Так, в патенте США №8164581 от 24.04.2012 г.[5], кроме этого используются 2 источника инфракрасного (ИК) излучения, которые в свою очередь подсвечивают отражатели, расположенные вдоль сторон экрана и отражающие падающие на них световые потоки в сторону телевизионных камер. Далее, с помощью специализированного вычислительного устройства, связанного с телевизионными камерами, рассчитываются координаты объекта (пальца, стилуса), пересекающего путь распространения отраженного излучения. В патентах США №7333094 от 19.02.2008 г.[6], №7333095 от 19.02.2008 г.[7], №7477241 от 13.01.2009 г.[8], №7573465 от 11.08.2011 г.[9] используется ИК-излучатель, выполненный в виде оптического элемента специальной пространственной геометрии, позволяющей направить излучение, подводимое к его торцу от источника света, в сторону телевизионных камер. Недостатком данного типа устройств является необходимость предварительной геометрической юстировки входящих в их состав телевизионных камер, использование при изготовлении подобных устройств большого количества монтажных и котировочных элементов. Применение во всех этих устройствах телевизионных камер ограничивает скорость обновления информации как минимум частотой их кадровой развертки, что является недостаточным для измерения динамических характеристик движения пальца.

Большую группу оптических сенсорных панелей образуют устройства, использующие в своем составе оптические световоды. Это устройства, описанные, например, в патентах США №7477816 от 13.01.2009 г.[10], №7627209 от 1.12.2009 г.[11], №7496265 от 24.02.2009 г.[12], №7805036 от 28.09.2010 г.[13], №7817886 от 19.10.2010 г.[14], №7957615 от 7.06.2011 г.[15], №8111958 от 7.02.2012 г.[16]. Все они содержат по одному набору приемных и передающих световодов, причем выходные торцы передающих световодов оптически сопряжены с входными торцами приемных, а к их входным торцам подводится ИК-излучение лазера или светодиода. Выходные торцы приемных световодов оптически связаны с фотоприемниками или, как предложено в патенте США №7809221 от 5.10.2010 г.[17] - фотодиодный массив. Однако все эти решения не позволяют в принципе решить задачу измерения скорости касания пальцем оператора или стилусом сенсорной поверхности.

Известно также устройство, предложенное в патенте РФ №2278423 от 15.10.2004 г.[18] и являющееся прототипом предлагаемого изобретения, содержащее два ИК-излучателя, связанных с выходами специализированного вычислителя и оптически сопряженных с фотоприемниками, подключенными к этому же вычислителю, линия расположения фоточувствительной поверхности которых охватывает часть периметра контролируемой поверхности. При этом в результате функционирования этого устройства образуется так называемое сенсорное поле, образуемое пересечением потоков первого и второго излучателей на фоточувствительной поверхности фотоприемников. Осуществляя поочередное включение ИК-излучателей, специализированный вычислитель вводит координаты затененных фотоприемников и определяет координаты пальца (стилуса), пересекшего путь распространения излучений, т.е. вошедшего в сенсорное поле.

Целью предлагаемого изобретения является расширение функциональных возможностей, а именно в дополнение к координатам кончика пальца или стикера, определение и его скорости.

Для этого в известное устройство, содержащее первый и второй излучатели, фотоприемник, оптически сопряженный с ними и охватывающий часть периметра сенсорной поверхности и специализированный вычислитель, выходы которого подключены к первому и второму излучателям, а вход которого подключен к выходу фотоприемника, введен третий излучатель, оптически сопряженный с фотоприемником, причем оптический фотоприемник содержит два ряда пикселей - верхний и нижний, при этом верхний ряд находится в плоскости расположения первого излучателя, а нижний - в плоскости расположения третьего излучателя, кроме того, пиксели верхнего и нижнего рядов могут быть смещены относительно друг друга, а образуемое в результате функционирования данного устройства сенсорное поле заключено между этими двумя плоскостями. Специализированный вычислитель, входящий в состав устройства, осуществляет поочередное включение одного из излучателей, ввод значений сигналов освещенности пикселей фотоприемника для каждого из них и расчет координат и скорости точки касания пальцем или стикером нижней поверхности сенсорного поля.

На фиг.1 приведена функциональная схема предлагаемого устройства,

где:

1,2,3 - источники ИК-подсветки, с телесными углами

распространения излучения, Ψ₁, Ψ₂, Ψ₃ соответственно;

4 - фотоприемник;

5 - специализированный вычислитель.

На фиг.2 приведен пример выполнения фотоприемника 4, где:

6 - печатная плата;

7 - фототранзисторы или фотодиоды, образующие чувствительные элементы - пиксели, фотоприемника 4.

На фиг.3 приведена геометрическая схема расположения пикселей фотоприемника, 2-х излучателей и пространственного фрагмента пальца, где:

P_n, P_n+2, P_n+4, P_n+6… - пиксели верхнего ряда, нечетные;

P_n+1, P_n+3, P_n+5, P_n+7…- пиксели нижнего ряда, четные;

П - пространственный фрагмент пальца оператора;

V - вектор скорости точки а;

$$T_{П}^1$$ - тень фрагмента П, формируемая действием 1-го излучателя;

$$T_{П}^3$$ - тень фрагмента П, формируемая действием 3-го излучателя;

l - расстояние между верхним и нижним рядами пикселей и между оптическими центрами 1-го и 3-го излучателей.

На фиг.4 приведена геометрическая схема образования плоскостей, ограничивающих сверху и снизу сенсорное поле, где:

S - верхняя плоскость;

T - нижняя плоскость.

На фиг.5 приведен общий случай взаимного расположения 1, 2 и 3-го излучателей, где:

m - расстояние между оптическими центрами 1 и 3 излучателей;

c, d, e - оптические оси 1, 2 и 3 излучателей;

a - линия, по которой выравнены оптические центры верхнего ряда пикселей;

b - линия, по которой выравнены оптические центры нижнего ряда пикселей;

R - прямая, перпендикулярная линиям a, b и с.

На фиг.6 приведена геометрическая схема расчета координат относительно системы OXY.

На фиг.7 приведен второй вариант выполнения фотоприемника 4, со смещенным, на половину межпиксельного расстояния относительно верхнего, нижним рядом пикселей, где:

d - межпиксельное расстояние.

Предлагаемое устройство (фиг.1) функционирует следующим образом.

Специализированный вычислитель 5 последовательно, с интервалом времени Δt, включает один из излучателей 1, 2 или 3. Эти излучатели представляют собой ИК-диоды, потоки излучения которых распространяются в телесных углах Ψ₁, Ψ₂ и Ψ₃ соответственно и распространяются в сторону фоточувствительной поверхности фотоприемника 4 (оптически сопряжены с ним). Фотоприемник 4 представляет собой двухрядный набор фотодиодов или фототранзисторов (пикселей), расположенных, например, на ленточной печатной плате с определенным шагом, так как это изображено на фиг.2. Сигнал с выхода фотоприемника 4, для каждого включенного излучателя 1, 2, 3, вводится в память специализированного вычислителя, который осуществляет определение координат и скорости пальца, прошедшего через рабочую зону устройства.

На фиг.3 изображен пример образования теней $$T_{П}^1$$ и $$T_{П}^3$$ от действия излучателей 1 и 3, расстояние между оптическими центрами которых l равно расстоянию между верхним и нижним рядами пикселей фотоприемника 6. На фиг.4 изображено образование плоскостей S T, прохождение через которые пальца оператора вызывает затенение соответствующих пикселей фотоприемника 4.

Примем, что значения сигналов (после пороговой обработки) с засвеченных пикселей равно 1, с затененных - 0, а состояния пикселей P_N…P_N+15, изображенных на фиг.3 - в виде набора - {u_n, u_n+1,… u_n+l4, u_n+l5}. При движении фрагмента пальца П с некоторой скоростью V, в направлении плоскости S, а после ее пересечения в направлении плоскости T(фиг.4) значения сигналов с этих пикселей, в моменты времени t₀ - t₁₀, могут иметь например следующие значения -

t0 → {1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1},

t1 → {1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1},

t2 → {1,1,1,1,1,1,1,1,0,1,1,1,1,1,1,1},

t3 → {1,1,1,1,1,1,1,1,0,1,1,1,1,1,1,1},

t4 → {1,1,1,1,1,1,0,1,0,1,0,1,1,1,1,1},

t5 → {1,1,1,1,1,1,0,1,0,1,0,1,1,1,1,1},

t6 → {1,1,1,1,1,1,0,1,0,1,0,1,1,1,1,1},

t7 → {1,1,1,1,1,1,0,1,0,0,0,1,1,1,1,1},

t8 → {1,1,1,1,1,1,0,1,0,0,0,1,1,1,1,1},

t9 → {1,1,1,1,1,1,0,0,0,0,0,0,1,1,1,1},

t10 → {1,1,1,1,1,1,0,0,0,0,0,0,1,1,1,1}.

Т.е. в данном примере, тень достигла верхней линии пикселей в момент времени t₂ и переместилась от верхней линии пикселей к нижней в момент времени t₇. В связи с тем что размер тени перекрывает несколько пикселей, видно, что сначала тень (нижний кончик пальца) перекрывала один пиксель верхнего ряда в моменты времени t₂, t₃, а затем по мере продвижения фрагмента П к нижней плоскости T происходило затенение соседних пикселей верхнего ряда в моменты времени t₄, t₅, t₆. После затенения одного пикселя нижнего ряда в момент времени t₇, при дальнейшем движении пальца (если отсутствует этому препятствие), будет происходить затенение соседних пикселей нижнего ряда в моменты времени t₈, t₉, t₁₀.

Таким образом, перемещение фрагмента П на расстояние I, между верхней и нижней линиями размещения пикселей на фотоприемнике 4, произошло за время, равное t₇ - t₂- Учитывая, что излучатели 1,2,3 включаются через интервалы времени Δt, интервал времени между включениями 1 и 3-го излучателей равен 2Δt, скорость движения фрагмента П равна:

$$V_{П}=\frac{l}{5\cdot 2\cdot \Delta t}$$

В общем виде скорость касания равна:

1)

$$V_{П}=\frac{l}{\pi }$$ ;

где l - расстояние между верхним и нижним рядами пикселей фотоприемника 4;

τ - интервал времени между первым появлением тени на верхнем ряду пикселей и первым появлением тени на нижнем ряду пикселей.

В общем случае расположения фотоприемника и излучателей, изображенном на фиг.5, излучатель 3 может располагаться так, чтобы проекция линии m на прямую линию R, перпендикулярную линиям a, b и c, равнялась величине l. Оптические оси c и d при этом падают на линию а, а оптическая ось e, падает на линию b.

Расчет координат (X, Y) фрагмента П выполняется, согласно геометрической схеме, представленной на фиг.6. Формулы их расчета [18] имеют вид:

2)

$$\{\begin{array}{l}\frac{Y-Y_1}{Y_1^{em}-Y_1}=\frac{X-X_1}{X_1^{em}-X_1};\\ \frac{Y-Y_2}{Y_2^{em}-Y{}_2}=\frac{X-X_2}{X_2^{em}-X_2}.\end{array}$$

где: (X₁, Y₁) - координаты центров теней, сформированных от действия первого излучателя;

(X₂,Y₂) - координаты центров теней, сформированных от действия второго излучателя;

( $$X_1^{em},Y_1^{em}$$ ) - координаты первого излучателя;

( $$X_2^{em},Y_2^{em}$$ ) - координаты второго излучателя.

Специализированный вычислитель 5 осуществляет:

- ввод значений сигналов, соответствующих значениям освещенности пикселей первого и второго рядов фотоприемника 4;

- пороговую обработку этих сигналов, т.е. принятие решения - "пиксель затенен" / "пиксель освещен" (0/1);

- измерение времени τ;

- определение значений (X₁, Y₁) и (X₂, Y₂);

- расчеты координат и скорости, согласно формулам 1 и 2;

- выдачу результатов.

Для повышения точности определения координат, нижний ряд пикселей фотоприемника должен быть смещен относительно пикселей верхнего ряда на половину дискреты d, как показано на фиг.7. Точность измерения координат тени на поверхности фотоприемника возрастает при этом в 2 раза, при росте погрешности измерения скорости.

На фиг.8 приведена фотография фотоприемника 4, выполненного для использования в экспериментальном образце данного устройства. Для расширения рабочей зоны фотоприемник содержит четыре ряда фототранзисторов (типа КР3216Р3С фирмы Kingbright). В качестве специализированного вычислителя в данном устройстве используется система на кристалле (SoC), выполненная на ПЛИС типа XC6SLX150-CSG484 фирмы Xilinx.

Источники информации

1. Патент США №6480187 от 12.11.2002 г.

2. Патент США №6492633 от 10.12.2002 г.

3. Патент США №6844539 от 18.01.2005 г.

4. Патент США №7522156 от 21.04.2009 г.

5. Патент США №8164581 от 24.04.2012 г.

6. Патент США №7333094 от 19.02.2008 г.

7. Патент США №7333095 от 19.02.2008 г.

8. Патент США №7477241 от 13.01.2009 г.

9. Патент США №7573465 от 11.08.2011 г.

10. Патент США №7477816 от 13.01.2009 г.

11. Патент США №7627209 от 1.12.2009 г.

12. Патент США №7496265 от 24.02.2009 г.

13. Патент США №7805036 от 28.09.2010 г.

14. Патент США №7817886 от 19.10.2010 г.

15. Патент США №7957615 от 7.06.2011 г.

16. Патент США №8111958 от 7.02.2012 г.

17. Патент США №7809221 от 5.10.2010 г.

18. Патент РФ №2278423 от 15.10.2004 г.

Изобретение относится к технике оптико-электронных систем и, в частности, к оптическим сенсорным панелям. Устройство измерения координат содержит первый и второй излучатели, фотоприемник, оптически сопряженный с ними и охватывающий часть периметра сенсорной поверхности и специализированный вычислитель, выходы которого подключены к первому и второму излучателям, а вход подключен к выходу фотоприемника. Причем устройство измерения координат дополнительно содержит третий излучатель, оптически сопряженный с фотоприемником, при этом фотоприемник выполнен в виде двух линейных наборов пикселей - верхнего и нижнего, причем первый и второй излучатели находятся в плоскости расположения верхнего набора, а третий - в плоскости расположения нижнего набора пикселей. Специализированный вычислитель, входящий в состав устройства, осуществляет поочередное включение каждого излучателя, ввод значений освещенности пикселей и измерение промежутка времени между затенением верхнего и нижнего наборов пикселей. По этим данным специализированный вычислитель определяет координаты и скорость пальца или стилуса, коснувшегося сенсорной панели. Технический результат - расширение функциональных возможностей, а именно в дополнение к координатам кончика пальца или стикера, определение и его скорости. 1 з.п. ф-лы, 8 ил.

1. Устройство измерения координат, содержащее первый и второй излучатели, фотоприемник, оптически сопряженный с ними и охватывающий часть периметра сенсорной поверхности и специализированный вычислитель, выходы которого подключены к первому и второму излучателям, а вход подключен к выходу фотоприемника, отличающееся тем, что дополнительно содержит третий излучатель, подключенный к выходу специализированного вычислителя и оптически сопряженный с фотоприемником, кроме того, оптический фотоприемник содержит два ряда пикселей - верхний и нижний, при этом верхний ряд находится в плоскости расположения первого и второго излучателей, а нижний - в плоскости расположения третьего излучателя, а образуемое в результате функционирования данного устройства сенсорное поле заключено между этими плоскостями, причем специализированный вычислитель осуществляет поочередное включение одного из излучателей, ввод значений сигналов освещенности пикселей фотоприемника для каждого из них и расчет координат и скорости точки касания пальцем нижней поверхности сенсорного поля.

2. Устройство по п.1, отличающееся тем, что нижний ряд пикселей смещен относительно верхнего ряда на половину межпиксельного расстояния.