СПОСОБ УПРАВЛЕНИЯ ПОЗИЦИЕЙ КОНТРОЛЬНОЙ ТОЧКИ В КОМАНДНОЙ ОБЛАСТИ И СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ Российский патент 2011 года по МПК G06F3/42 

Это изобретение относится к способу управления позицией контрольной точки в командной области и к способу управления устройством. Кроме того, изобретение относится к соответствующей системе, предназначенной для управления позицией контрольной точки в командной области, и к соответствующей системе, предназначенной для управления устройством.

Для управления устройством, таким как любое пользовательское электронное устройство, например телевизор, DVD-плеер, тюнер и т.д., обычно используется пульт дистанционного управления. Однако в обычном домашнем хозяйстве может требоваться множество пультов дистанционного управления, часто один пульт для каждого пользовательского электронного устройства. Даже для человека, хорошо знакомого с пользовательскими электронными устройствами, которые он имеет, является проблемой помнить, для чего фактически предназначена каждая кнопка на каждом пульте дистанционного управления. Кроме того, навигация по экранному меню, доступная для некоторых пользовательских электронных устройств, часто является недостаточно интуитивной, в частности, для пользователей, которые могут не обладать глубоким знанием опций, доступных для устройства. Результатом является то, что пользователь должен постоянно изучать меню, представленное на экране, чтобы определить местонахождение опции, которую он ищет, а затем смотреть на пульт дистанционного управления, чтобы найти соответствующую кнопку. Очень часто кнопкам даются неинтуитивные названия или сокращения. Кроме того, кнопка на пульте дистанционного управления также может выполнять дополнительную функцию, доступ к которой сначала должен быть осуществлен с помощью нажатия кнопки режима.

Иногда пульт дистанционного управления может быть использован для управления рядом устройств. Так как пульт дистанционного управления сам не может отличать одно устройство от другого, пульт дистанционного управления должен быть снабжен специальной кнопкой, предназначенной для каждого устройства, и пользователь должен явно нажимать соответствующую кнопку перед взаимодействием с желаемым устройством.

Возможным альтернативным вариантом обычному пульту дистанционного управления может быть указательное устройство. Система пользовательского интерфейса, основанная на указательном устройстве, известна из WO 2004/047011 А2, раскрытие которого включено в настоящее описание посредством ссылки. Концепция такой системы заключается в том, что указательное устройство, соединенное с камерой, может быть использовано для управления любым устройством в его окружении с помощью нацеливания на объект, например корпус устройства, экран или любое другое приложение или вспомогательное устройство, связанное с устройством. Камера указательного устройства генерирует изображения целевой области, в которую его нацеливают, и эти изображение затем анализируются.

Во многих приложениях, предназначенных для управления устройством, ряд пользовательских опций для управляемого устройства визуально представлены в командной области или в графическом пользовательском интерфейсе. Если устройство, например телевизор, персональный компьютер или лэптоп, использует экран, устройство формирования луча или другое средство воспроизведения изображения, такая командная область может быть представлена с помощью средства воспроизведения изображения. Кроме того, командная область для управляемого устройства может быть представлена любым другим способом, на основе которого затем могут быть представлены опции для этого устройства. Например, центральное устройство управления могло бы предусматривать дисплей, на котором представлена командная область. Таким образом, точная позиция оси указывания (т.е. точка, видимая в центре захваченных изображений) может быть определена в командной области. Это дает возможность, например, управления контрольной точкой, например курсором, в командной области и, следовательно, навигации по меню и других видов взаимодействия, которые обычно возможны с помощью графического пользовательского интерфейса, таких как создание эскизов и т.д. Другие важные возможные способы взаимодействия могут содержать взаимодействие “вне экрана”, такое как прокрутка вверх и вниз при указывании сверху или снизу экрана, выполнение операций перетаскивания (drag-and-drop) между экранами и применение жестов с помощью выполнения предварительно определенных или определенных пользователем геометрических образов движения “в воздухе”.

Для обеспечения возможности такого “подобного мыши” управления контрольной точкой в командной области на расстоянии является существенным дать возможность точного взаимодействия до максимально возможного расстояния, задаваемого оптическими возможностями пользователя, т.е. разрешающей способностью глаз относительно размеров управляемого объекта. С помощью визуальных средств это обычно выходит за предел дальности, для которой возможна точная ручная координация. На самом деле, когда расстояние до командной области становится относительно большим, угловой диапазон, в котором имеет место прямое взаимодействие, т.е. угол, под которым командная область видна из позиции пользователя, становится относительно малым. В результате становится более трудно точно выполнять взаимодействие из-за сильного отрицательного влияния дрожания и невольных движений руки, держащей указательное устройство.

Вследствие этого задачей настоящего изобретения является предоставить легкий и приемлемый способ, который дает возможность точного управления контрольной точкой в командной области, также с больших расстояний.

С этой целью настоящее изобретение предоставляет способ управления позицией контрольной точки в командной области, который, как упомянуто выше, содержит этапы, на которых нацеливают указательное устройство, содержащее камеру, в направлении командной области, генерируют изображение целевой области, на которую нацелено указательное устройство, и обрабатывают изображение целевой области, чтобы определить целевую точку, на которую нацелено указательное устройство. Таким образом, в соответствии с изобретением позицию контрольной точки в командной области определяют в зависимости от позиции целевой точки, в текущей определенной области управления, причем область управления, по меньшей мере частично, включает в себя командную область. Вследствие этого в соответствии с изобретением всякий раз, когда пользователь нацеливает указательное устройство на реальную целевую точку (также называемую в дальнейшем “действительной целевой точкой”) в “виртуальной” области управления, реальная позиция указывания относительно виртуальной области управления будет преобразована в виртуальную позицию указывания относительно действительной командной области, причем эта виртуальная позиция указывания соответствует позиции контрольной точки. Таким образом, размеры и/или местоположение контрольной точки определяют в соответствии с моментальными условиями указывания и/или ситуацией управления.

С помощью устанавливания реальной целевой точки в виртуальной области управления способом в соответствии с изобретением и с помощью преобразования этой позиции целевой точки в текущую командную область можно адаптировать область управления, необходимую для определения местоположения контрольной точки, к текущей ситуации. В частности, область управления может быть выгодно увеличена относительно командной области, особенно в случае, когда пользователь расположен далеко от устройства. Использование виртуальной области управления, адаптированной к расстоянию между указательным устройством и командной областью, гарантирует, что небольшие перемещения указательного устройства не интерпретируются как соответственно большие перемещения в командной области, при этом пользователю предоставляется возможность более точно направлять указывающее устройство в командной области. Это, в частности, применяется к угловым перемещениям указательного устройства, которые с увеличением расстояния от командной области, дают в результате большие линейные перемещения реальной целевой точки в командной области.

Подразумевается, что “контрольная точка” означает не просто обычный курсор, но любой вид визуальной обратной связи, предназначенной для показа пользователю, на какую точку в командной области он нацеливается в текущий момент. Например, это могла бы быть световая точка, проецируемая на командную область, если необходимо, с помощью отдельного устройства. Также могли бы быть выделены определенные области, изображающие символы различных пунктов меню, что часто имеет место в пользовательских графических интерфейсах, управляемых с помощью меню, когда контрольная точка доводится до такой области.

Так как контрольная точка изображена посредством подходящей визуальной обратной связи, у пользователя способа в соответствии с изобретением даже на большом расстоянии не будет создаваться впечатление, что он указывает вне командной области, даже если это имеет место. Он только заметил бы различие, если бы взглянул вдоль длины указательного устройства. Вместо этого у него просто создается впечатление лучшей управляемости контрольной точки в командной области.

Как упомянуто выше, этот способ является выгодным, в частности, когда пользователь желает взаимодействовать с командной областью на большом расстоянии. Вследствие этого увеличение области управления относительно командной области является предпочтительным приложением изобретения. Однако также можно создать виртуальную область управления, которая меньше, чем действительная командная область. Примером могло бы быть управление конфигурированием презентации, где командную область воспроизводят сильно увеличенной в фоновой плоскости для представления и где человек, дающий презентацию, стоит относительно близко к фоновой плоскости. В такой ситуации было бы уместно назначить меньшую область для области управления таким образом, чтобы пользователь мог выбирать в качестве цели все участки в командной области с помощью контрольной точки, но с помощью меньших перемещений указательного устройства.

Соответствующая система, предназначенная для управления позицией контрольной точки в командной области, содержит модуль вычисления позиции контрольной точки, предназначенный для определения позиции контрольной точки в зависимости от позиции целевой точки в текущей заданной области управления, причем область управления, по меньшей мере частично, включает в себя командную область. Таким образом, размеры и/или местоположение области управления определяют в соответствии с мгновенными условиями указывания и/или ситуацией управления.

Зависимые пункты формулы изобретения и нижеследующее описание раскрывают конкретные преимущественные варианты осуществления и признаки изобретения.

Понятие “условия указывания” означает не только расстояние, но также угол между указательным устройством и командной областью. В зависимости от позиции указательного устройства относительно командной области могут быть определены не только размеры области управления, но также взаиморасположение, т.е. смещена ли область управления вверх, вниз или горизонтально относительно командной области. Понятие “ситуация управления” подразумевает, помимо прочего, тип меню, размер отдельных пунктов меню и т.д. в командной области. Например, в ситуации, в которой меню с большим числом пунктов меню воспроизводится в командной области, причем каждый пункт меню предлагает только относительно малый участок активации, т.е. области, в которую должно быть нацелено указательное устройство, для того чтобы выбрать пункт меню, имеет смысл предложить увеличенную виртуальную область управления, даже в случае относительно малых расстояний от командной области, для того чтобы сделать более легким для пользователя точно нацеливаться на отдельный пункт меню или его участок активации. С другой стороны, если только относительно небольшое число опций с относительно большими участками активации воспроизводится в командной области, достаточно, чтобы область управления оставалась того же самого размера, что и командная область, даже для больших расстояний.

Как упомянуто выше, предпочтительно, прежде всего, определяют размеры области управления в соответствии с расстоянием между указательным устройством и командной областью. Существует ряд возможностей для пути, которым увеличивают размеры области управления в соответствии с расстоянием между указательным устройством и командной областью.

В одном варианте осуществления размеры области управления расширяют или увеличивают, если расстояние между указательным устройством и командной областью превышает некоторый предел. В соответствии с этим способом, например, область управления может совпадать с командной областью для первого, относительно малого, расстояния. Если пользователь переместится с указательным устройством за некоторый порог расстояния от командной области, виртуальная область управления будет увеличена на некоторую величину. За другим дополнительным порогом расстояния виртуальная область управления может быть опять увеличена на некоторую величину. Таким образом, делается возможным возрастающее пошаговое увеличение области управления в зависимости от расстояния. При этом порог расстояния, по существу, может быть выбран таким малым, как требуется. Величины для порогов расстояния и соответствующие размеры области управления могут быть запомнены в таблице.

В качестве альтернативы, соответствующая непрерывная зависимость между размерами области управления и расстоянием от командной области может быть задана в подходящей функции. Например, может быть выбран коэффициент увеличения, зависящий от расстояния, который задает степень, с которой увеличиваются размеры виртуальной области управления по сравнению с действительным размером командной области.

Предпочтительно, по меньшей мере, для очень больших расстояний, коэффициент расширения, который определяет увеличение или изменение размера в отношении размеров области управления в соответствии с размерами командной области, должен быть пропорционален расстоянию между указательным устройством и командной областью.

В дополнительном предпочтительном варианте осуществления, если пользователь нацеливается на целевую точку вне текущей области управления, размеры области управления увеличивают таким образом, чтобы целевая точка находилась внутри новой области управления.

Одним возможным выбором использования этого признака было бы всегда давать возможность прямого взаимодействия, т.е. виртуальная область управления соответствует физической командной области для всех расстояний, пока пользователь нацеливает указательное устройство в точку в командной области. Только когда пользователь указывает вне командной области, будет применена другая величина для коэффициента увеличения, таким образом, давая возможность относительного масштабирования. Однако этот способ имеет недостаток, заключающийся в несплошности на границах дисплея.

В предпочтительном альтернативном варианте, как и в альтернативном варианте, упомянутом выше, взаимодействие является первоначально прямым. Если пользователь нацеливает указательное устройство в точку вне физического экрана, коэффициент расширения или увеличения увеличивают таким образом, чтобы действительная ось указывания и, следовательно, в конечном счете действительная целевая точка совпадали с точкой на границе (обновленной) виртуальной области управления. Следовательно, в этом альтернативном варианте коэффициент расширения является не просто функцией только расстояния, но также зависит от поведения пользователя. Такая операция может быть названа “продавливание”, так как виртуальная область управления ведет себя так, как будто ее границы были бы продавлены наружу, когда позиция указывания (явно) пытается пересечь их. Предпочтительно минимальное расстояние и/или минимальное время могло бы быть применено до того, как это условие срабатывает.

Для того чтобы дать возможность взаимодействия “за экраном”, например прокрутка вверх/вниз с помощью указывания вверху/внизу экрана, этот признак мог бы быть активным только в одном направлении (в этом случае ось Х), или могло бы быть, что просто одна из четырех сторон прямоугольной области управления является “продавливаемой”. В любом случае тот факт, что пользователь откладывает указательное устройство или начинает указывать на что-нибудь другое в комнате, может быть обнаружен таким образом, чтобы эти события не привели к продавливаниям виртуальной области экрана.

В предпочтительном варианте осуществления размеры области управления уменьшаются опять после некоторого периода времени, в течение которого пользователь не нацеливается на целевую точку вне некоторого участка текущей области управления. Например, если пользователь не выполняет продавливание в отношении границ мгновенной области управления, коэффициент расширения уменьшается медленно со временем, в конечном счете сходясь к величине 1. Предпочтительно временная константа является относительно большой, например порядка от секунд до минут. Следовательно, виртуальная область управления будет адаптироваться к предпочтительным для пользователя размерам. Этот альтернативный вариант также будет направлять пользователей, неопытных в этом прямом способе указывания, но которые могут иметь опыт с непрямыми способами управления, такими как с помощью компьютерной мыши, чтобы автоматически делать психологический переход от парадигмы относительного указывания к парадигме прямого манипулирования.

Так как указательное устройство дает возможность управления очень разными устройствами, в частности устройствами, которые могли бы быть в непосредственной близости друг от друга, должен быть устранен конфликт областей управления соседних устройств. Перекрытие областей управления двух разных устройств могло бы иметь в результате неопределенный вывод относительно того, на какое устройство действительно нацеливается пользователь. Имеется ряд возможностей для учета такой ситуации.

В первом очень простом решении области управления смежных командных областей выбираются таким образом, чтобы области управления не перекрывались. Это означает, что виртуальные области управления поддерживаются полностью отдельно.

В дополнительном предпочтительном варианте осуществления только некоторый участок командной области, например центр или центральная часть командной области, одного устройства оставляется в стороне от виртуальной области управления другого смежного устройства и наоборот. Затем предпочтительно командная область может быть активирована с помощью нацеливания на этот центральный участок соответствующей командной области, и расширенную область управления, связанную с текущей активной командной областью, выбирают таким образом, чтобы она не перекрывалась с упомянутым некоторым участком смежной командной области. Это означает в последнем случае, что неопределенность указывания может быть устранена с помощью постоянного выбора устройства, которое было выбрано в качестве цели ранее, т.е. только переключения на другое устройство, когда направление указывания однозначно определяет целевое устройство. Затем пользователь может испытывать некоторый вид эффекта гистерезиса: управление стремится придерживаться одного устройства, и только с помощью указывания на некоторый “участок активации”, например центральные части командной области, фокус может быть смещен на другое устройство.

В способе управления устройством в соответствии с изобретением указательное устройство с камерой нацеливают в направлении командной области, связанной с управляемым устройством, причем в этой командной области представлен ряд опций, предназначенных для управления этим устройством. Визуальную обратную связь позиции мгновенной контрольной точки предоставляют в этой командной области, например, в виде курсора. Затем, как объяснено выше, генерируют изображение целевой области, на которую нацелено указательное устройство, и обрабатывают изображение целевой области, чтобы определить целевую точку, на которую нацелено указательное устройство. В соответствии с изобретением выбранную опцию определяют в зависимости от позиции контрольной точки в командной области, причем позицией контрольной точки управляют в соответствии со способом, объясненным выше.

Соответствующая система для управления устройством содержит командную область для визуального представления пользовательских опций для управляемого устройства, систему, предназначенную для управления контрольной точкой, расположенной в командной области, как объяснено выше, и модуль интерпретирования, предназначенный для интерпретирования или определения выбранных опций в соответствии с позицией контрольной точки в командной области. Этот модуль интерпретирования также может генерировать управляющий сигнал, предназначенный для управляемого устройства, в соответствии с выбранной опцией.

Идентификация выбранной опции на основании текущей позиции контрольной точки и генерирование управляющего сигнала могут быть выполнены обычным способом, например как имеет место для приложения, управляемого с помощью мыши, известным специалисту в данной области техники.

Чтобы определить мгновенную действительную целевую точку в области управления, могут быть применены алгоритмы компьютерного зрения. Способ обработки данных изображения целевой области, использующий алгоритмы компьютерного зрения, мог бы содержать этапы, на которых обнаруживают отличительные точки в данных целевого изображения, определяют соответствующие точки в шаблоне командной области, например экрана, устройства или в (известных) окружениях командной области, и создают преобразование для отображения точек в данных изображения в соответствующие точки в упомянутом шаблоне. Затем это преобразование может быть использовано, чтобы определить позицию и взаиморасположение указательного устройства относительно виртуальной области управления, включающей в себя командную область, таким образом, чтобы точка пересечения оси указывания с областью управления могла находиться в шаблоне. Позиция этого пересечения в шаблоне соответствует целевой точке в области управления, которая может быть использована, чтобы легко определить соответствующую контрольную точку в командной области, например, чтобы идентифицировать, какая опция выбрана в качестве цели пользователем. Сравнение данных изображения с предварительно определенным шаблоном, таким образом, может быть ограничено идентификацией и сравнением только выступающих точек, таких как отличительные угловые точки. Понятие “сравнение”, как оно применяется в контексте этого изобретения, должно пониматься в широком смысле, т.е. в плане только сравнения достаточных признаков, чтобы быстро идентифицировать опцию, на которую нацеливается пользователь.

В конкретном предпочтительном варианте осуществления изобретения обработка изображений целевой области, чтобы идентифицировать целевую точку в области управления или контрольную точку в командной области, могла бы быть выполнена в самом указательном устройстве. Однако вычислительная мощность такого указательного устройства, которое обычно реализовано таким образом, чтобы удобно держать в руке, неизбежно ограничена мощностью, требуемой сложными вычислительными обработками. Вследствие этого целевые изображения предпочтительно передаются для дальнейшей обработки в модуль управления, ассоциированный с управляемым устройством. Модуль управления может идентифицировать целевую точку в области управления и контрольную точку в командной области и, кроме того, может посылать управляющий сигнал в устройство, которое генерирует командную область, для того чтобы предоставить визуальную обратную связь по позиции контрольной точки пользователю, например, в виде позиции курсора. Это устройство управления также может определять управляющий сигнал, предназначенный для управляемого устройства, на основании идентифицированной опции, выбранной пользователем.

Такой модуль управления, например, может быть частью упомянутого устройства и может быть включен в тот же самый корпус, что и само устройство. В другом варианте осуществления этот модуль управления может быть реализован как отдельный объект, который может взаимодействовать любым подходящим способом с управляемым устройством, при этом такой модуль управления может управлять более чем одним устройством.

Указательное устройство и модули управления, описанные выше, объединяются, чтобы предоставить мощную систему управления, предназначенную для использования практически в любом виде среды, такой как среда дома, офиса, музея, больницы или гостиницы. Способ в соответствии с изобретением может быть применен к устройству, управляемому электрическим или электронным способом. Кроме того, модуль управления и управляемое устройство могут содержать любое число блоков, компонентов или устройств и могут быть распределены любым способом.

Другие задачи и признаки настоящего изобретение станут понятными из следующего подробного описания, рассмотренного совместно с сопровождающими чертежами. Однако следует понимать, что чертежи предназначены только для целей иллюстрации, а не как определение ограничений изобретения.

Фиг.1 - схематическое представление в перспективе принципа расширенной виртуальной области управления, связанной с командной областью;

фиг.2 - схематическое представление указательного устройства, предназначенного для использования с изобретением;

фиг.3 - примерное схематическое представление устройства, управляемого в соответствии с изобретением;

фиг.4 - схематическое представление двух соседних командных областей и их соответствующих областей управления в соответствии с первым вариантом осуществления;

фиг.5 - схематическое представление двух соседних командных областей и их соответствующих областей управления в соответствии со вторым вариантом осуществления;

фиг.6 - принципиальная схема, изображающая командную область, реализованную с помощью экрана, ассоциированную с ней область управления, ассоциированный с ней шаблон и изображение целевой области, сгенерированное с помощью устройства в соответствии с вариантом осуществления настоящего изобретения.

На чертежах одинаковые номера относятся к одинаковым объектам по всем чертежам. Описанное указательное устройство, которое пользователь держит и эксплуатирует, не изображено на чертежах.

Основным принципом изобретения, как уже объяснено выше, является то, что некоторую командную область, в которой воспроизведены различные опции, предназначенные для управления устройством, преобразуют в виртуальную область управления. Таким образом, позиция реальной или действительной целевой точки в этой виртуальной области управления будет преобразована в координаты контрольной точки, например позицию курсора, в командной области. Обычно это является виртуальным увеличением командной области, которое будет выполнено, таким образом, делая более легким для пользователя направлять курсор или подобную точку в пределах командной области. Вследствие этого в дальнейшем пример увеличенной области управления, назначенной командной области, используется для целей иллюстрации, но без ограничения изобретения этим примером.

Как изображено на фиг.1, принципом преобразования из реальной целевой точки Т в виртуальной расширенной области управления А_СТ в контрольную точку С в реальной командной области А_СМ является отображение действительного луча s указывания в виртуальный луч s' указывания, который находится ближе к центру командной области А_СМ. Обычно это выполняют с помощью задания отображения из сферических координат (θ, φ) действительной оси s указывания в сферические координаты (θ′, φ′) виртуальной оси s' указывания. Очень естественно допустить, что такое отображение должно обладать вращательной симметрией, т.е. быть зависящим только от θ. Следовательно, можно установить φ′=φ и θ′=f_r(θ), причем некоторое семейство f функций параметризировано с помощью расстояния r между пользователем, т.е. указательным устройством 1, и командной областью АСМ.

Для того чтобы избежать тригонометрических сложностей, выгодно и в то же самое время очень естественно выбрать зависимость в виде

θ′=arctan (α(r)·tan(θ)),

так как это приводит, при допущении, что начало координат системы координат находится в центре командной области, к линейному преобразованию при изменении относительно двумерной системы координат в плоскости командной области А_СМ. Затем применяется следующее:

x'=α(r)·x,

y'=α(r)·y.

Тем самым коэффициент α(r), зависимый от расстояния, можно рассматривать как масштабный коэффициент. Величина α(r) должна находиться между 0 и 1, причем чем меньше величина, тем больше коэффициент расширения или увеличения, на который увеличивают или расширяют размеры виртуальной области управления А_СТ в связи с реальным размером командной области А_СМ.

Для явного выбора зависимости α от r предпочтительно должны быть учтены следующие ограничения.

Для очень больших расстояний угол, под которым появляется виртуальная область управления, как видно с точки зрения пользователя, должен оставаться постоянным, так как, с одной стороны, было бы противоинтуитивным, если бы угол должен был увеличиваться с расстоянием, в то время как, с другой стороны, он не должен уменьшаться ниже некоторого критического предела. Следовательно, масштабный коэффициент предпочтительно должен быть выбран таким образом, чтобы:

α(r)~1/r для r→∞.

Для малых расстояний выгода расширения области управления А_СТ в одной и той же точке перевешивается интуитивностью прямого взаимодействия (“на что вы указываете, то вы и контролируете”). Следовательно, для малых расстояний масштабный коэффициент предпочтительно должен приближаться к 1:

α(r)=1 для малого r.

Вероятно, наилучший способ объединить эти два ограничения - с помощью плавной инкрементальной комбинации в виде:

α(r)=min(1,r₀/r).

Параметр r₀ расстояния может быть интерпретирован как расстояние, на котором поведение плавно переключается из прямого взаимодействия в командной области А_СМ во взаимодействие в виртуальной расширенной области управления А_СТ. Этот параметр r₀ расстояния, например, мог бы быть установлен в зависимости от устройства или текущего приложения.

В качестве альтернативы или дополнительно, параметр r₀ расстояния также может быть выбран в зависимости от предпочтений пользователя и/или опыта способностей пользователя. Например, параметр r₀ расстояния может регулироваться пользователем в соответствии с ожидаемой степенью дрожания, и/или могла бы быть измерена точность указывания пользователя (на этапе калибровки), и, соответственно, мог бы регулироваться r₀.

Фиг.2 изображает очень упрощенный вариант осуществления указательного устройства 1, предназначенного для использования в способе в соответствии с изобретением. Это указательное устройство 1 с камерой 2 на его переднем конце характеризуется корпусом в форме жезла или ручки продолговатой формы, который может удобно захватываться рукой и легко переносится пользователем. Также указательному устройству могла бы быть придана форма пистолета.

Изображения I целевой области, сгенерированные с помощью камеры 2, передаются в модуль 3 обработки изображений, который обрабатывает изображения I целевой области, чтобы определить позицию действительной или реальной целевой точки Т, на которую пользователь нацеливает указательное устройство 1. Устанавливание целевой точки Т и расстояния r может быть выполнено с помощью шаблонов командной области А_СМ или области, окружающей командную область А_СМ, с помощью сравнения изображения I целевой области с этими шаблонами. Действительный способ определения целевой точки Т будет объяснен более подробно ниже с помощью фиг.6.

Затем целевую точку Т передают в модуль 4 вычисления позиции контрольной точки, который определяет позицию контрольной точки, т.е. координаты x', y' контрольной точки С в командной области А_СМ, в соответствии с координатами x, y целевой точки Т в виртуальной области управления А_СТ. Размеры и позиция текущей области управления А_СТ также могут быть определены в этом модуле 4 обработки контрольной точки. Необходимые данные для этого вычисления, например расстояние между указательным устройством 1 и командной областью А_СМ, также могут быть выведены из изображения I целевой области, например, из устройства 3 обработки изображений. Модуль 3 обработки изображений и модуль 4 обработки контрольной точки, например, могут быть реализованы в виде модулей программного обеспечения в программируемом процессоре указательного устройства 1.

Координаты x', y' контрольной точки С затем могут быть переданы с помощью интерфейса 5 связи в устройство 6 управления управляемого устройства D (сравни фиг.3). Интерфейс 5 связи, который мог бы быть стандартным интерфейсом, таким как Bluetooth, IEEE или подобным, также мог бы быть реализован с возможностью приема или передачи других данных для указательного устройства 1. Например, шаблоны для различных устройств и/или соответствующие командные области А_СМ с их окружением могли бы быть поданы в указательное устройство 1 с использованием такого интерфейса 5 таким образом, чтобы в указательном устройстве 1 могли быть выполнены этапы обработки изображения. Поскольку в указательном устройстве 1 доступны другие компоненты, такие как клавиши, кнопки и другой тип пользовательского интерфейса, посредством которых могут быть сгенерированы дополнительные сигналы, предназначенные для использования в управлении устройством D₁, конечно, они также могут быть переданы через интерфейс 5 связи.

Разумеется, указательное устройство 1 может содержать другие компоненты, помимо компонентов, упомянутых выше, например клавиши или тип пользовательского интерфейса, посредством которого пользователь может вводить дополнительные команды для генерирования управляющего сигнала для устройства. Относительно таких дополнительных компонентов ссылка делается еще один раз на WO 2004/047011 А2, где некоторое количество дополнительных компонентов для такого указательного устройства описаны подробно. Указательное устройство также может быть использовано для генерирования управляющих сигналов способом, описанным в настоящей заявке. Например, помимо простого указывания на цель, указательное устройство можно перемещать определенным образом или жестом, который может быть интерпретирован определенным образом для генерирования управляющих сигналов.

Фиг.3 изображает очень упрощенный схематический обзор компонентов, необходимых для разъяснения изобретения, управляемого устройства D₁. В настоящем описании управляемое устройство D₁ содержит монитор 10, на котором воспроизводится командная область А_СМ с меню, характеризуемым некоторым числом пунктов М₁, М₂, М₃, М₄, М₅, М₆ меню для выбора пользователем. Дополнительным компонентом этого устройства D₁ является модуль 6 управления, изображенный отдельно от монитора 10, как могло бы иметь место для персонального компьютера. Конечно, этот модуль 6 управления может быть объединен с монитором 10 в одном корпусе, как обычно имеет место в телевизоре.

Компонентом модуля 6 управления, необходимым для изобретения, например, является интерфейс 7 связи, который, в частности, может принимать сигналы и данные из интерфейса связи указательного устройства 1 или передавать сигналы и данные в указательное устройство 1. Дополнительными компонентами являются модуль 8 визуализации контрольной точки и модуль 9 интерпретирования, функции которых будут объяснены ниже.

Координаты x', y' контрольной точки С в командной области А_СМ, принятые с помощью интерфейса 7 связи, сначала передаются в модуль 8 визуализации контрольной точки. С помощью этого модуля 8 курсором, например небольшим квадратом, крестом, стрелкой или т.п., управляют таким образом, чтобы пользователь мог видеть точку в командной области А_СМ, на которую он, очевидно, нацеливает указательное устройство 1. Координаты x', y' контрольной точки С также передаются в модуль 9 интерпретирования. Этот модуль 9 интерпретирования служит для того, чтобы интерпретировать позицию контрольной точки С с целью определения того, какую из показанных опций М₁, М₂, М₃, М₄, М₅, М₆ в командной области А_СМ выбирает пользователь. С этой целью модуль 9 интерпретирования должен знать статус меню, показываемого в текущий момент в командной области А_СМ. Затем, используя координаты x', y' контрольной точки С, он может определить, на какую из опций М₁, М₂, М₃, М₄, М₅, М₆ в текущий момент указывает пользователь. Модуль 9 интерпретирования также может отвечать за текущий статус графического пользовательского интерфейса в командной области.

Модуль 8 визуализации контрольной точки и модуль 9 интерпретирования могли бы быть реализованы в виде модулей программного обеспечения программируемого процессора модуля 6 управления.

Очевидно, что модуль управления или управляемое устройство D₁ будут характеризоваться некоторым числом дополнительных компонентов, необходимых или желательных для работы такого устройства, таких как источник питания, различные интерфейсы и компоненты, предназначенные для управления различными приложениями устройства, например приемник, предназначенный для приема телевизионных сигналов в случае телевизора, DVD-дисковод в случае устройства записи DVD и т.д. Для простоты эти компоненты не изображены на фиг.3. Однако специалист в данной области техники поймет, какие компоненты необходимы для каждого типа устройства.

Еще раз будет подчеркнуто, что необязательно реализовывать модуль 3 обработки изображений и модуль 4 обработки контрольной точки в указательном устройстве 1. Один или оба из этих модулей 3, 4 также могли бы быть успешно реализованы в модуле 6 управления. В этом случае, например, изображения I целевой области, сгенерированные с помощью камеры 2, будут непосредственно переданы, например, через модуль 5 передатчика в устройство 4 управления. Также модуль 3 обработки изображений и модуль 4 вычисления позиции контрольной точки могли бы быть реализованы вместе в едином объекте.

Фиг.4 и фиг.5 иллюстрируют ситуацию, в которой два устройства, каждое со своей собственной командной областью А_СМ, А_СМ', расположены непосредственно рядом друг с другом. В такой ситуации могла бы возникнуть проблема, когда области управления А_СТ, А_СТ', ассоциированные с командными областями А_СМ, А_СМ', перекрывались бы. Если бы пользователь указал на область перекрытия, это могло бы иметь в результате неопределенность принятия решения относительно того, каким из двух устройств пользователь желает управлять.

Фиг.4 изображает одно решение, которое гарантирует, что никакое перекрытие не возникает между областями управления А_СТ, А_СТ' соседних командных областей А_СМ, А_СМ'. Это может быть сделано с помощью передачи в упомянутые устройства или в указательные устройства местоположений различных А_СМ, А_СМ' и/или предварительного назначения определенных участков отдельным командным областям А_СМ, А_СМ', в которых разрешено перемещать области управления А_СТ, А_СТ'. Фиг.4 изображает, что это может привести к тому, что область управления А_СТ, А_СТ' командной области А_СМ, А_СМ' не симметрична по отношению к соответствующей ей командной области А_СМ, А_СМ'. Однако в идеальном случае область управления А_СТ должна пропорционально простираться в каждом направлении относительно соответствующей командной области А_СМ, так как это предлагает более интуитивное взаимодействие.

Перекрытия областей управления А_СТ также можно избежать с помощью «отталкивания» разными виртуальными областями управления А_СТ, А_СТ' друг друга, т.е. с помощью принятия во внимание соседней области управления А_СТ, А_СТ' всякий раз, когда область управления А_СТ, А_СТ' увеличивается. Если соседняя область управления была бы затронута увеличиваемой областью управления А_СТ, А_СТ', то соседняя область управления будет сжата, когда область управления А_СТ, А_СТ' увеличена, или дополнительное увеличение области управления А_СТ, А_СТ' будет запрещено.

Фиг.5 изображает дополнительный альтернативный вариант. В данном случае областям управления А_СТ, А_СТ' разрешено расширяться до тех пор, пока они не коснутся некоторого участка, так называемого участка А_АС, А_АС' активации, соседних командных областей А_СМ, А_СМ'. Следовательно, только одна командная область А_СТ, А_СТ' является активной. Активация выполняется, когда пользователь нацеливает указательное устройство в участке А_АС, А_АС' активизации соответствующей командной области А_СМ, А_СМ'. Это значит, что пользователь может переключаться, как желает, между командной областью А_СМ и командной областью А_СМ' в зависимости от того, каким устройством он желает управлять в текущий момент.

На данном этапе будет объяснено более подробно, вместе с фиг.6, как позиция x, y реальной целевой точки, на которую нацеливаются с помощью указательного устройства 1, может быть определена с помощью шаблонов командной области и/или ее окружения.

Пользователь не всегда нацеливает указательное устройство 1 в командную область А_СМ непосредственно вперед, более вероятно, что указательное устройство 1 будет нацелено под более или менее непрямым углом к командной области А_СМ, так как часто более удобно нацеливать указательное устройство 1, чем изменять свое собственное положение. Это проиллюстрировано на фиг.6, которая изображает схематическое представление изображения I целевой области, сгенерированное с помощью указательного устройства 1, нацеленного на устройство D₂, в этом случае экран телевизора или монитор компьютера, с некоторого расстояния и под непрямым углом, таким образом, что масштаб и перспектива устройства D₂ в целевой области A_I появляются искаженными в изображении I целевой области.

На дисплее устройства D₂ можно видеть некоторое число опций М₁, М₂, М₃. Пользователь (не изображен на схеме) может пожелать выбрать одну из этих опций М₁, М₂, М₃ с помощью указательного устройства 1. Также на дисплее устройства D₂ является видимым курсор в позиции мгновенной контрольной точки С, таким образом, помогая пользователю, который нацеливает указательное устройство 1. Как объяснено выше, текущую позицию контрольной точки С вычисляют в зависимости от позиции реальной целевой точки Т в виртуальной расширенной области управления А_СТ.

Чтобы найти позицию реальной целевой точки Т, изображение I целевой области исследуют более детально. Независимо от угла указательного устройства 1 относительно устройства D₂ изображение I целевой области всегда центрируется относительно целевой точки Т. Следовательно, эта точка достаточно легко определяется в изображении I целевой области. Остается только определить соотношение между координатами этой точки Т относительно командной области А_СМ или центра командной области А_СМ. В качестве альтернативы, конечно, координаты могут быть определены относительно другой точки в командной области А_СМ, например относительно угловой точки отображенной пользовательской опции, или относительно любой заметной точки монитора, такой как угловая точка, при этом эти координаты затем могут быть преобразованы в желаемое начало координат. Так как измерения виртуальной расширенной области управления предпочтительно выполняются в одной и той же системе координат, следовательно, тривиально определить координаты действительной целевой точки Т в виртуальной расширенной области управления А_СТ.

Для определения координат реальной целевой области Т в выбранной системе координат устройство 3 обработки изображений сравнивает изображение I целевой области с предварительно определенными шаблонами TD₂.

Вследствие этого применяют алгоритмы компьютерного зрения, использующие способы обнаружения краев и углов, чтобы определить местоположение точек [(xa',ya'),(xb',yb'),(xc',yc')] в изображении I целевой области, которое соответствует точкам [(xa,ya),(xb,yb),(xc,yc)] в шаблоне TD₂ устройства D₁.

Каждая точка может быть выражена как вектор, например точка (xa,ya) может быть выражена как . В качестве следующего шага создают функцию преобразования Т_λ, чтобы отобразить изображение I целевой области в шаблон TD₂:

где вектор представляет пару (xi,yi) координат в шаблоне TD₂, а вектор представляет соответствующую пару (x'i,y'i) в изображении I целевой области. Набор λ параметров, содержащий параметры для поворота и трансляции изображения, дающего наиболее экономичное решение для функции, может быть применен, чтобы определить позицию и ориентацию указательного устройства 1 относительно командной области А_СМ. Расстояние, например, между указательным устройством 1 и командной областью А_СМ может быть определено этим способом. Кроме того, так как целевая точка Т всегда является центром изображения I целевой области, могут быть определены координаты целевой точки Т в шаблоне TD₂ командной области А_СМ.

Несмотря на то что настоящее изобретение раскрыто в виде предпочтительных вариантов осуществления и их вариантов, будет понятно, что в них могут быть сделаны многочисленные дополнительные модификации и изменения, не выходя за рамки объема изобретения. Указательное устройство может служить в качестве универсального устройства пользовательского интерфейса дома или в любой другой среде с устройствами, управляемыми электрическим или электронным способом. Короче говоря, оно может быть выгодным при любых условиях, при которых пользователь может выражать намерение с помощью указывания. Его малый формфактор и его удобная и интуитивная возможность указывания могут поднять такое простое указательное устройство до мощного универсального пульта дистанционного управления. В качестве альтернативы форме ручки указательное устройство, например, могло бы быть также персональным цифровым ассистентом (PDA) со встроенной камерой или мобильным телефоном со встроенной камерой. Для ясности также следует понимать, что упоминание в единственном числе не исключает множества и “содержащий” не исключает другие этапы или элементы. “Устройство” может содержать некоторое число блоков или устройств, если явно не описано как единый объект.

Изобретение относится к способу и системе определения позиции контрольной точки в командной области и к способу и системе управления устройством с электронным управлением. Технический результат заключается в повышении точности и простоты эксплуатации указательного устройства для направления контрольной точки. Способ определения позиции контрольной точки в командной области содержит этапы, на которых нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (А_СМ); генерируют изображение (I) целевой области (A_I), на которую нацелено указательное устройство; обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (l); определяют позицию (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (А_СТ), причем область управления (А_СТ), по меньшей мере частично, включает в себя командную область (А_СМ). Размеры и/или местоположение области управления (А_СТ) задают в соответствии с мгновенными условиями указывания и/или ситуацией управления. Система реализует данный способ. 4 н. и 9 з.п. ф-лы, 6 ил.

1. Способ определения позиции (х', у') контрольной точки (С) в командной области (Асм), содержащий этапы, на которых
нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (Асм);
генерируют изображение (I) целевой области (A_I), на которую нацелено указательное устройство;
обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (1);
определяют позицию (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (Аст), причем эта область управления (Аст), по меньшей мере частично, включает в себя командную область (Асм),
при этом размеры и/или местоположение области управления (Аст) задают в соответствии с мгновенными условиями указывания и/или ситуацией управления.

2. Способ по п.1, в котором размеры области управления (Аст) задают в соответствии с расстоянием (r) между указательным устройством (l) и командной областью (Асм).

3. Способ по п.1, в котором размеры области управления (Аст) расширяют, если расстояние (r) между указательным устройством (1) и командной областью (Асм) превышает некоторый предел.

4. Способ по любому из пп.1-3, в котором коэффициент расширения α, который задает отношение размеров области управления (Аст) к размерам командной области (Асм), пропорционален по меньшей мере в некотором диапазоне расстояний расстоянию (r) между указательным устройством (l) и командной областью (Асм).

5. Способ по любому из пп.1-3, в котором размеры области управления (Аст) расширяют, если пользователь нацеливает указательное устройство (1) на целевую точку (Т) вне текущей области управления (Аст).

6. Способ по любому из пп.1-3, в котором размеры области управления (Аст) уменьшают после некоторого периода времени, в течение которого пользователь не нацеливает указательное устройство (1) на целевую точку (Т) вне некоторого участка текущей области управления (Аст).

7. Способ по любому из пп.1-3, в котором области управления (Аст, Аст') смежных командных областей (Асм, Асм') выбирают таким образом, чтобы эти области управления (Аст, Аст') не перекрывались.

8. Способ по любому из пп.1-3, в котором командные области (Асм, Асм') могут быть активированы с помощью нацеливания на некоторый участок (A_AC, A_AC') командной области (Асм, Асм'), и расширенную область управления (Аст, Аст'), ассоциированную с текущей активной командной областью (Асм, Асм'), выбирают таким образом, чтобы она не перекрывалась, по меньшей мере, с некоторым участком (A_AC,A_AC') смежной командной области (Асм, Асм').

9. Способ управления устройством (D₁, D₂) с электронным управлением, содержащий этапы, на которых
нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (Асм), ассоциированной с устройством (D₁, D₂) с электронным управлением, в отношении которого выполняется управление, причем в этой командной области (Асм) представлено некоторое число опций (М₁, М₂, М₃, М₄, М₅, М₆) для управления устройством (D₁, D₂) с электронным управлением;
генерируют изображение (I) целевой области (A_I), на которую нацелено указательное устройство (l);
обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (l);
определяют выбранную опцию (M_s) в зависимости от позиции (х', у') контрольной точки (С) в командной области (Асм), причем позицией (х', у') контрольной точки управляют согласно способу по любому из пп.1-3.

10. Система для определения позиции (х', у') контрольной точки в командной области (Асм), содержащая
модуль (4) вычисления позиции контрольной точки, предназначенный для определения позиции (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (Аст), причем эта область управления (Аст), по меньшей мере частично, включает в себя командную область (Асм), при этом размеры и/или местоположение области управления (Аст) определяются в соответствии с мгновенными условиями указывания и/или ситуацией управления.

11. Система по п.10, дополнительно содержащая
модуль (3) обработки изображений, предназначенный для обработки изображения (I) целевой области, чтобы определить целевую точку (Т), в которую нацелено указательное устройство (l) и модуль (8) визуализации контрольной точки (С), предназначенный для визуализации контрольной точки (С) в командной области (Асм).

12. Система по п.10, являющаяся указательным устройством (l), содержащим
камеру (2), предназначенную для генерирования изображений (I) целевой области (A_I) в направлении (Р) указывания, и модуль (3) обработки изображений, предназначенный для обработки изображения (I) целевой области, чтобы определить целевую точку (Т), в которую нацелено указательное устройство (l).

13. Система для управления устройством (D₁, D₂) c электронным управлением, содержащая
командную область (Асм), предназначенную для визуального представления пользовательских опций (М₁, М₂, М₃, М₄, М₅, М₆) для устройства с электронным управлением, в отношении которого выполняется управление;
систему для определения позиции (х', у') контрольной точки (С) в командной области (Асм) по пп.10, 11 или 12; и
модуль (9) интерпретирования, предназначенный для определения выбранной опции (M_s) в зависимости от позиции (х', у') контрольной точки (С) в командной области (Асм).