ПОЛЬЗОВАТЕЛЬСКИЙ ИНТЕРФЕЙС С ТАКТИЛЬНОЙ ОБРАТНОЙ СВЯЗЬЮ Российский патент 2016 года по МПК G06F3/01 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к пользовательскому интерфейсу с исполнительными механизмами для обеспечения тактильной обратной связи. Кроме того, оно относится к устройству, содержащему такой пользовательский интерфейс, и к способу для обеспечения тактильной обратной связи.

УРОВЕНЬ ТЕХНИКИ

В US 2010/0231508 A1 раскрыто устройство (например, мобильный телефон), которое содержит исполнительные механизмы для обеспечения тактильной обратной связи пользователю. Таким образом, устройство отображения устройства может, например, быть снабжено осязательным внешним видом, который напоминает реальную текстуру объекта, изображенного на упомянутом устройстве отображения.

В US 2008/252607 A1 раскрыто чувствительное к касанию устройство отображения, которое создает тактильное ощущение и перемещение объекта по его поверхности. Таким образом, например, можно передвигать шахматные фигуры на отображаемой шахматной доске или обеспечивать пользователю ощущение ряби в ответ на прикосновение к отображаемому озеру.

US 2008/136786 A1 относится к устройству отображения с вводом касанием, на котором объекты могут перекомпоновываться пользователем. С помощью оценки усилия и сдвига, оказываемых пользователем на кнопку, определяется, хочет ли пользователь привести в действие кнопку или сдвинуть ее. В последнем случае объект удаляется и вновь генерируется в другом положении устройства отображения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Исходя из уровня техники, целью изобретения является обеспечение средства для дополнительного улучшения взаимодействия между пользователем и устройством.

Данная цель достигается с помощью пользовательского интерфейса по п.1, способа по п.15 и устройства по п.14. Предпочтительные варианты осуществления раскрыты в зависимых пунктах формулы изобретения.

В соответствии со своим первым аспектом изобретение относится к пользовательскому интерфейсу, т.е. к устройству, которое посредствует взаимодействию между людьми и машиной. Например, пользовательский интерфейс может позволять пользователю вводить информацию и/или команды в устройство, либо устройство может выводить информацию с помощью пользовательского интерфейса. Пользовательский интерфейс в соответствии с изобретением содержит следующие компоненты:

a) Поверхность, к которой пользователь может прикасаться и с помощью которой может происходить взаимодействие между пользователем и пользовательским интерфейсом. В связи с этим упомянутая поверхность будет далее называться «поверхностью взаимодействия». К поверхности взаимодействия, как правило, можно прикасаться любым произвольным образом, например, с помощью инструмента, оперируемого пользователем. Предпочтительнее всего поверхность взаимодействия адаптирована под прикосновение одним или более пальцами пользователя.

b) Решетку исполнительных механизмов, которая размещается в вышеупомянутой поверхности взаимодействия для обеспечения тактильной обратной связи пользователю. Термин «исполнительный механизм», как обычно, означает элемент, блок или устройство, которое может активно и механически взаимодействовать со своим окружением, например, посредством движения (например, сдвига, изгиба, сжатия, расширения и т.д.) и/или создания усилия. Исполнительные механизмы в контексте изобретения, как правило, являются небольшими, занимая, например, площадь менее приблизительно 10×10 мм², предпочтительно - менее приблизительно 1×1 мм² в поверхности взаимодействия. Кроме того, термин «решетка», как правило, означает любую регулярную или нерегулярную пространственную компоновку элементов. В контексте изобретения решетка обычно содержит регулярную одно- или двухмерную компоновку исполнительных механизмов, например матричную компоновку.

c) Контроллер, который способен согласовано активировать (все или, по меньшей мере, часть) исполнительные механизмы таким образом, что они генерируют направленное тактильное ощущение у пользователя, прикасающегося к ним. Контроллер может быть, например, реализован в специализированном электронном аппаратном обеспечении, аппаратном обеспечении цифровой обработки данных со связанным программным обеспечением или в совокупности перечисленного.

По определению «направленное тактильное ощущение» представляет собой тактильное ощущение, по которому люди могут устанавливать пространственное направление (усреднение по множеству людей может дать определение упомянутого показателя направления). Направление, ощущаемое (типичным) человеком, обычно генерируется за счет некоторого анизотропного действия исполнительных механизмов, например согласованного перемещения в упомянутом направлении. В быту «направленное тактильное ощущение» обычно генерируется за счет относительного перемещения между объектом и касающимся к нему человеком (например, в случае, когда человек прикасается к вращающемуся диску). Решетка исполнительных механизмов, которая остается закрепленной на своем месте относительно прикасающегося к ней пользователя, может генерировать направленное тактильное ощущение, например, посредством сдвига точки контакта между пользователем и решеткой таким образом, что перемещение точки контакта ощущается пользователем как перемещение (воображаемого) объекта.

В соответствии со вторым аспектом изобретение относится к способу обеспечения тактильной обратной связи пользователю, касающемуся поверхности взаимодействия, которая оснащена решеткой исполнительных механизмов. Данный способ содержит согласованное активирование исполнительных механизмов упомянутой решетки таким образом, что они генерируют направленное тактильное ощущение.

Данный способ содержит в общем виде этапы, которые могут исполняться с пользовательским интерфейсом описанного выше типа. Поэтому для получения дополнительной информации о деталях этого способа дается ссылка на вышеприведенное описание.

Преимущество описанных выше пользовательского интерфейса и способа состоит в том, что для генерирования направленного тактильного ощущения используется решетка исполнительных механизмов в поверхности взаимодействия. Как будет объяснено подробнее применительно к предпочтительным вариантам осуществления изобретения, такая направленная обратная связь может выгодно использоваться для обеспечения пользователю дополнительной информации при взаимодействии его с пользовательским интерфейсом и/или для обеспечения пользователю более реалистичной/естественной обратной связи.

Предпочтительные варианты осуществления изобретения, которые будут описываться ниже, применимы как к пользовательскому интерфейсу, так и к способу, описанным выше.

В соответствии с первым предпочтительным вариантом осуществления поверхность взаимодействия выполнена с возможностью определения положения и/или возможного перемещения по меньшей мере одной точки касания, в которой к ней прикасается пользователь. Такое определение может достигаться с помощью подходящих средств, например с помощью кнопок, которые нажимаются механически. Предпочтительнее всего определение осуществляется без перемещения механических компонентов в соответствии с различными принципами и технологиями, известными по воспринимающим касание (сенсорным) экранам и воспринимающим касание панелям. Эти способы содержат, например, резистивные, емкостные, акустические или оптические измерения, с помощью которых может определяться положение точки касания.

Определение точки касания и/или ее перемещения может использоваться для ввода информации. Например, положение точки касания может соответствовать некоторому знаку, символу или команде (как на клавиатуре). Либо перемещение точки касания может использоваться, чтобы инициировать соответствующее перемещение некоторого отображаемого изображения, (виртуального) ползункового регулятора, операции прокрутки в меню и т.д.

В соответствии с дополнительным усовершенствованием первого предпочтительного варианта осуществления только исполнительные механизмы, расположенные в области, которая зависит от положения и/или перемещения по меньшей мере одной точки касания, активируются для обеспечения направленного тактильного ощущения. Как правило, не все исполнительные механизмы всей решетки исполнительных механизмов необходимы для (и способны) обеспечения тактильной обратной связи пользователю, а только те, с которым в данный момент осуществил контакт пользователь. Эта группа релевантных исполнительных механизмов может быть определена в зависимости от положения по меньшей мере одной точки касания. Возможное перемещение текущей точки касания может использоваться для прогноза области на поверхности взаимодействия, к которой будет осуществляться следующее прикосновение, позволяя оптимально отслеживать точку (точки) касания области (областей) активированных исполнительных механизмов.

В соответствии с еще одним усовершенствованием первого предпочтительного варианта осуществления направление направленного тактильного ощущения зависит от положения и/или возможного перемещения по меньшей мере одной точки касания. Когда перемещение точки касания, например, используется для сдвига изображения, отображаемого на поверхности взаимодействия, направленное тактильное ощущение может быть таким, что оно имитирует трение, которое генерировал бы реальный объект при соответствующем сдвиге.

В другом варианте осуществления изобретения направленное тактильное ощущение направлено в определенное место на поверхности взаимодействия. Определенное место может быть постоянным или может необязательно зависеть от некоторого внутреннего состояния пользовательского интерфейса или связанного устройства.

Например, вышеуказанное «определенное место» может соответствовать неподвижному положению некоторой (виртуальной) клавиши или кнопки управления на поверхности взаимодействия. При прикосновении пользователя к поверхности взаимодействия за пределами этого положения направленное тактильное ощущение может вести пользователя к клавише или кнопке управления. В другом примере направленное тактильное ощущение может использоваться для указания направления, в котором некоторая (виртуальная) клавиша или кнопка управления либо бегунок должен быть повернут или перемещен для достижения необходимого результата, например, с целью уменьшения громкости музыкального проигрывателя. Примерным случаем изменяющегося во времени «определенного места» является последнее установленное положение (виртуального) ползункового регулятора, например, в регуляторе громкости музыкального проигрывателя, интенсивность света лампы с регулируемой яркостью и т.д. Описанные процедуры ведения пользователя особенно полезны в случае, когда пользователь выполняет операции с пользовательским интерфейсом вслепую.

В другом варианте осуществления изобретения направленное тактильное ощущение направлено радиально внутрь или радиально наружу по отношению к некоторому определенному центру, например, по отношению к центру поверхности взаимодействия или по отношению к точке касания, в которой пользователь прикасается к поверхности взаимодействия. Такое радиальное тактильное ощущение может, в частности, использоваться для указания операций, которые относятся к сжатию или расширению некоторого объекта, и может также использоваться для предположения (виртуальных) внеплоскостных взаимодействий.

Поверхность взаимодействия может предпочтительно располагаться над некоторым устройством отображения изображений для динамического представления картинок, графики, текста и т.п. Устройство отображения может использоваться для обеспечения пользователю дополнительной визуальной информации, для статического или динамического отображения управляющих кнопок, клавиш, бегунков, колес и т.д., для обеспечения визуальной обратной связи об операциях ввода и т.п.

В соответствии с дополнительным усовершенствованием вышеупомянутого варианта осуществления направленное тактильное ощущение, генерируемое исполнительными механизмами, согласовано с изображением и/или последовательностью изображений, которое/которые показано(ы) на устройстве отображения. Если на изображении отображается, например, кнопка в некотором положении на поверхности взаимодействия, направление тактильного ощущения может быть ориентировано по направлению к этому положению. В другом примере последовательность изображений может показывать перемещение некоторого (воображаемого) объекта по поверхности взаимодействия, и направленное тактильное ощущение может соответствовать ощущению трения, которое передавал бы реальный объект, движущийся в этом направлении. Еще в одном примере направленное тактильное ощущение может вести пользователя к предпочтительным предустановкам или по направлению к настройке, которую система рекомендует как наиболее релевантную в текущей ситуации.

Еще в одном усовершенствовании данного варианта осуществления с устройством отображения направленное тактильное ощущение согласовано с расширением или сжатием отображаемого изображения. Таким образом, увеличение или уменьшение изображения может, например, сопровождаться соответствующим реалистичным ощущением (трения). Когда пользователь инициирует такое увеличение или уменьшение, например, согласованным перемещением двух или более пальцев, направление, передаваемое с помощью тактильного ощущения на эти пальцы, может соответствовать двум силам, возникающим при соответствующем растяжении (увеличении) или сжатии (уменьшении) реального объекта.

Исполнительные механизмы, которые генерируют направленное тактильное ощущение, могут быть реализованы с помощью подходящей технологии. Предпочтительнее всего исполнительные механизмы могут содержать электроактивный материал, в котором изменения конфигурации могут быть вызваны электрическим полем. Особенно важным примером таких материалов являются электроактивные полимеры (EAP), предпочтительно из диэлектрического электроактивного полимера, который изменяет свою геометрическую форму во внешнем электрическом поле. Примеры EAP приведены в литературе (например, Bar-Cohen, Y. «Электроактивные полимеры в качестве искусственных мышц: реальность, возможности и проблемы», SPIE Press, 2004; Koo I.M. и др. «Разработка основанного на мягких исполнительных механизмах носимого тактильного устройства отображения», IEEE Transactions on Robotics, 2008, 24(3): с. 549-558; Prahlad, H. и др. «Программируемая деформация поверхности: исполнительные механизмы на основе электроактивных полимеров с колебаниями по толщине и их применения», в «Диэлектрические эластомеры в качестве электромеханических преобразователей; основы, материалы, устройства, модели и применения новейшей технологии электроактивных полимеров», F. Capri и др. Редакция. 2008, Эльзевир, с. 227-238; US-2008 0289952 A; все документы включены в настоящую заявку посредством ссылки).

Направленное тактильное ощущение может необязательно генерироваться ступенчатым активированием исполнительных механизмов. Для ступенчатого активирования необходимо, чтобы имелись по меньшей мере три степени или состояния активности соответствующих исполнительных механизмов (т.е. не только состояния включено/выключено) и чтобы эти степени/состояния использовались для генерирования направленного тактильного ощущения. Степень активирования может, например, изменяться (увеличиваться или уменьшаться) монотонно в одном направлении, посредством этого выделяя данное направление. Если степень активирования коррелирует, например, с внеплоскостной высотой, на которую поднимается активатор, ступенчатое активирование может использоваться для создания области на поверхности взаимодействия, которая наклонена в определенном направлении. В целом, использование различных степеней активирования имеет преимущество, состоящее в том, что информация о направлении может быть представлена с использованием статической характеристики активирования.

В соответствии с другим вариантом осуществления изобретения исполнительные механизмы могут активироваться для изменения (регулирования) трения между объектом, касающимся поверхности взаимодействия, и упомянутой поверхностью взаимодействия. Активирование исполнительных механизмов может, например, генерировать дополнительное сопротивление относительно перемещения объекта, касающегося поверхности взаимодействия. Если генерируемое трение является анизотропным, оно может использоваться для передачи направленного тактильного ощущения, отличающего, например, одно направление с помощью минимального трения от относительного перемещения. Сопротивление или трение может, например, генерироваться или корректироваться путем изменения гладкости поверхности взаимодействия.

Необязательно способ генерирования анизотропного трения содержит реализацию структур на поверхности взаимодействия, которые приводят к различным неровностям поверхности в различных направлениях. Структура из параллельных линий может, например, демонстрировать высокое трение в ортогональном направлении и низкое трение в осевом направлении. Другой необязательный способ генерирования анизотропного трения может включать в себя переход между двумя областями с различной неровностью, который реализуется в точке касания. Движущийся палец будет при этом испытывать большую или меньшую неровность (и получающееся в результате различное трение) в зависимости от направления его перемещения.

Изобретение дополнительно относится к устройству, содержащему пользовательский интерфейс вышеописанного типа. Данное устройство может, в частности, являться мобильным телефоном, пультом дистанционного управления, игровой консолью или регулятором освещенности, с помощью которого может регулироваться интенсивность и/или цвет ламп.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения станут понятными и будут разъяснены со ссылкой (ссылками) на вариант (варианты) осуществления, описанные ниже по тексту. Эти варианты осуществления будут описаны в качестве примера с помощью прилагаемых чертежей, на которых:

фиг. 1 показывает схематичное сечение пользовательского интерфейса в соответствии с изобретением;

фиг. 2 иллюстрирует генерирование направленного тактильного ощущения в конкретном месте;

фиг. 3 иллюстрирует генерирование направленного тактильного ощущения путем перемещения структуры активности в точке касания, которое направлено в определенное место;

фиг. 4 иллюстрирует генерирование направленного тактильного ощущения путем ступенчатого активирования исполнительных механизмов;

фиг. 5 иллюстрирует генерирование направленного тактильного ощущения путем определяемой трением обратной связи;

фиг. 6 иллюстрирует генерирование направленного тактильного ощущения в двух точках касания;

фиг. 7 иллюстрирует направленное радиально внутрь тактильное ощущение на решетке исполнительных механизмов;

фиг. 8 показывает вид сверху одномерной решетки исполнительных механизмов на основе EAP;

фиг. 9 показывает вид сверху двумерной решетки исполнительных механизмов на основе EAP.

Одинаковые ссылочные позиции или числа, отличающиеся на целое число, кратное 100, относятся на данных чертежах к одинаковым или подобным компонентам.

ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Одним из ключевых требований к реконфигурируемым пользовательским интерфейсам (UI) на устройствах с UI на базе устройств отображения является возможность правильного и точного оперирования пальцами на поверхности взаимодействия. Кроме того, внедрение принципов UI для нескольких пальцев (например, возможностей масштабирования и растягивания) делает точное взаимодействие с пользователем еще более проблематичным.

Из исследований пользователей известно, что многие люди имеют пониженный уровень «ощущения управления» при выполнении операций с чувствительными к прикосновению элементами UI или воспринимающими касание экранами из-за недостаточной тактильной обратной связи. Было доказано, что такое недостаточное «ощущение управления» приводит к большему количеству ошибок пользователей во время выполнения операций. Кроме того, невозможно выполнять операции с воспринимающими касание экранами, не глядя на них, что является недостатком, поскольку выполнение операций с многими пользовательскими интерфейсами (регуляторами освещенности, мобильными медиа проигрывателями, пультами дистанционного управления телевизорами и т.д.) предпочтительно осуществляется вслепую.

С учетом вышеуказанных соображений предлагается тактильный пользовательский интерфейс, обладающий возможностями наведения (пальцем) и растягивания. Тактильная поверхность может, например, быть выполнена с возможностью создания динамически регулируемого профиля поверхности в форме «бугорка», который распространяется по (2-мерной) поверхности как волна. Распространяющаяся волна используется либо для наведения пальца на точку на поверхности, растягивания множества пальцев по поверхности либо в качестве альтернативы для обеспечения «фрикционного сопротивления» перемещению пальца по поверхности. Две или более распространяющихся волн, удаляющихся от положения пальца, могут использоваться для создания ощущения «проваливания в» или «увеличения» на некотором участке или передвижения на один уровень ниже (например, при навигации по иерархическому меню или структуре папок либо в том случае, когда бегунок, управляющий конкретным параметром в пользовательском интерфейсе, переключается в режим тонкой настройки). Аналогичным образом волны, двигающиеся к пальцу, могут использоваться для создания противоположного эффекта, создавая ощущение передвижения вверх или назад либо уменьшения.

На фиг. 1 схематически показан вид в разрезе пользовательского интерфейса 100, выполненного в соответствии с вышеописанными общими принципами. Пользовательский интерфейс 100 включает в себя носитель или подложку 110, которая, в частности, может быть выполнена в виде или может содержать устройство отображения изображений (например, жидкокристаллическое устройство отображения (LED), устройство отображения на (органических) светодиодах ((O)LED) и т.д.). Подложка/устройство отображения 110 содержит на своей верхней стороне решетку 120 отдельных исполнительных механизмов 120a,... 120k,... 120z, которая проходит (по меньшей мере) в одном направлении (направлении х в соответствии с показанной системой координат). Решетка 120 составляет поверхность S взаимодействия, к которой пользователь может прикасаться своими пальцами.

Исполнительные механизмы решетки 120 могут, в частности, быть выполнены в виде или могут содержать электроактивный полимер (EAP), предпочтительно диэлектрический электроактивный полимер, который изменяет свою геометрическую форму во внешнем электрическом поле (иначе называемый «искусственными мышцами»). Эти исполнительные механизмы обеспечивают трансформацию поверхности из стопки полимерных слоев, которая должным образом структурируется с помощью прямой электростимуляции. Для осуществления этого предлагались различные настройки исполнительных механизмов, приводящие к передвижению вверх (Koo, Jung и др. «Разработка основанного на мягких исполнительных механизмах носимого тактильного устройства отображения», IEEE Trans. Robotics, том 24, № 3 (июнь 2008 г.), с. 549-558) или вниз (Prahlad H. и др. «Программируемая деформация поверхности: исполнительные механизмы на основе электроактивных полимеров с колебаниями по толщине и их применения», в «Диэлектрические эластомеры в качестве электромеханических преобразователей; основы, материалы, устройства, модели и применения новейшей технологии электроактивных полимеров», F.Capri и др. Редакция. 2008, Эльзевир, с. 227-238). Это обеспечивает очень большую свободу для форм, которые должны быть приведены в действие, поскольку структурированный электрод определяет, какая часть поверхности перемещается «вне плоскости». Это позволяет создавать очень гибкое «тактильное» устройство отображения, которое обеспечивает создание тактильных ощущений как «в плоскости», так и «вне плоскости» с помощью «внеплоскостного» перемещения исполнительных механизмов поверхности. Это также обеспечивает комбинированное восприятие (касания) и приведение в действие касанием от одного и того же поверхностного слоя. Ниже приведены некоторые характеристики типичных диэлектрических электроактивных полимеров:

- внеплоскостные смещения >0,5 мм;

- частоты переключения свыше 1000 Гц;

- жесткие, «твердотельные» слои резины;

- типичная толщина исполнительного механизма 100 мкм - 2 мм;

- возможно комбинированное восприятие и приведение в действие;

- возможность производства продукции «roll2roll» из простых, дешевых основных материалов (полимеров, угольного порошка).

Исполнительные механизмы 120a,... 120k,... 120z могут индивидуально приводиться в действие с помощью контроллера 130. При электрическом активировании исполнительный механизм 120k решетки 120 выполняет внеплоскостное перемещение в направлении z. Благодаря таким перемещениям отдельных исполнительных механизмов может обеспечиваться тактильная обратная связь пользователю, касающемуся поверхности S взаимодействия.

Как показано на фиг. 1, активирование одного или более исполнительных механизмов 120k в конкретном месте на поверхности S взаимодействия может использоваться для тактильного указания некоторого значения v₀ на (виртуальной) шкале значений V, варьирующихся от минимума (MIN) до максимума (MAX). Указанное значение v₀ может, например, соответствовать установленной в данный момент громкости музыкального проигрывателя.

На фиг. 2 показаны соседние исполнительные механизмы в положении вышеупомянутого значения v₀ в три последовательных момента времени. Три исполнительных механизма 120j, 120k, 120l активируются повторно один за другим. Благодаря сдвигу точки действия указанным образом генерируется направленное тактильное ощущение в коже пользователя (не показан), прикасающегося к исполнительным механизмам, что напоминает перемещение реального объекта в направлении, указанном изогнутой стрелкой. В показанном примере направленное тактильное ощущение направлено в сторону уменьшенных значений V, в то время как положение активных исполнительных механизмов 120j, 120k, 120l соответствует месту установленного в данный момент значения v₀.

Изображенная на фиг. 2 схема работы может быть изменена различными способами. Пространственный период волны активирования может, например, простираться на большие расстояния, чем показанные три исполнительных механизма, либо внеплоскостное возвышение в поверхности S взаимодействия может генерироваться с помощью одновременной активности более чем одного исполнительного механизма.

Фиг. 3 иллюстрирует другой режим работы пользовательского интерфейса 100. В отличие от предыдущих вариантов осуществления для данного режима необходимо, чтобы точка Р касания, в которой палец F пользователя прикасается к поверхности S взаимодействия, могла определяться с помощью контроллера 130. Такое определение может осуществляться с помощью любой технологии, известной по воспринимающим касание экранам. Кроме того, сами исполнительные механизмы на основе EAP решетки 120 могут быть обеспечены возможностями восприятия, позволяющими обнаруживать действующее на них давление.

В изображенном на фиг. 3 применении активируются только исполнительные механизмы в области точки Р касания, поскольку только они фактически вносят вклад в тактильную обратную связь. В показанном примере эти исполнительные механизмы приводятся в действие (например, показанным на фиг. 2 способом) для обеспечения направленного тактильного ощущения, которое направлено в сторону определенного места на поверхности S взаимодействия, а именно на (виртуальное) положение установленного значения v₀, как объяснялось на фиг. 1.

Фиг. 4 иллюстрирует другой принцип, с помощью которого направленное тактильное ощущение может передаваться в точке Р (согласно чертежу) касания или в любом другом местоположении в поверхности S взаимодействия. В данном варианте осуществления ступенчатое активирование исполнительных механизмов означает, что высота действия/исполнительного механизма (в направлении z) для задействованных исполнительных механизмов изменяется, создавая форму поверхности, которая включает в себя значительный угол α в поверхности. Даже в случае отсутствия относительного перемещения между касающимся элементом F и поверхностью S взаимодействия это приводит к направленной направляющей силе за счет поверхностной тангенциальной составляющей силы, возникающей в результате скоса.

Фиг. 5 иллюстрирует еще один способ генерирования направленного тактильного ощущения в точке касания (согласно чертежу) или в любом другом месте в поверхности S взаимодействия. В этом подходе генерируется сопротивление или трение от перемещения пальца F, прикасающегося к поверхности S взаимодействия. Сделав упомянутое сопротивление анизотропным, можно выделить требуемое направление. В показанном примере поверхностное трение изменяется от высокого/шероховатого до низкого/гладкого в точке Р касания, если смотреть в требуемом направлении (изогнутая стрелка). Поэтому для пальца F движение в «правильном» направлении будет легче, чем движение в «неправильном» направлении, поскольку последнее движение сопровождается некоторым сопротивлением.

В этом контексте следует отметить, что на приведенном на фиг. 5 схематическом изображении «высокое трение» иллюстрируется шероховатой поверхностью. При рассмотрении трения относительно кожи такое соотношение между шероховатостью поверхности и трением (т.е. «более высокая шероховатость означает большее трение») в действительности справедливо лишь для шероховатости 90 мкм и более. Однако для многих более твердых конструкционных материалов и небольшой шероховатости (<10 мкм) данный эффект изменяется на противоположный («более высокая шероховатость означает меньшее трение») ввиду эффектов контактной зоны. В зависимости от размера исполнительных механизмов и/или характерного размера их структур активирования увеличение трения в этой связи потребует либо высокой, либо низкой шероховатости поверхности.

Кроме того, анизотропное трение в качестве альтернативы может быть реализовано с помощью соответствующей (анизотропной) трехмерной структуры на поверхности взаимодействия, создающей различную шероховатость поверхности в различных направлениях. Например, на поверхности взаимодействия может быть сгенерирована структура из линий или гребней с помощью соответствующего активирования исполнительных механизмов таким образом, чтобы направление, перпендикулярное линиям, имело более высокую шероховатость (и эффект трения), чем направление, параллельное линиям.

На фиг. 6 показан еще один режим работы пользовательского интерфейса 100. И в этом случае для данного режима необходимо, чтобы точки Р1 и Р2 касания двух (или более) пальцев F1, F2 пользователя могли определяться с помощью контроллера 130. Ввод несколькими пальцами может, например, использоваться для интуитивного увеличения или уменьшения изображения, показанного на устройстве 110 отображения, путем растягивания или сжатия упомянутого изображения. На фиг. 6 показан в этой связи конкретный пример команды «увеличения», для которой два пальца F1 и F2 удаляются друг от друга в противоположных направлениях. Направленные тактильные ощущения, которые генерируются в токах касания Р1, Р2 пальцев, соответствуют в этом случае предпочтительно тактильному ощущению, которое передавал бы реальный объект при его растягивании. Как указано изогнутыми стрелками, это направленное тактильное ощущение направлено параллельно перемещению пальцев для имитации синхронного перемещения нижележащего объекта.

На фиг. 7 показан вид сверху двумерной поверхности S взаимодействия пользовательского интерфейса 200. Создается направленное тактильное ощущение, которое направлено радиально внутрь относительно точки касания пальца F (или относительно какого-либо иного центра на поверхности S). Таким образом, можно имитировать перемещения со сжатием нижележащего изображения. При изменении направления тактильного ощущения на обратное генерируется ощущение, направленное радиально наружу, которое может имитировать расширение нижележащего изображения.

Основной функциональностью вышеописанного пользовательского интерфейса 100 с тактильной обратной связью является создание динамически регулируемого профиля поверхности в форме «бугорка», который распространяется по (2-мерной) поверхности взаимодействия как волна. В одном варианте осуществления изобретения такой распространяющийся профиль поверхности может быть создан с помощью одномерной решетки 120 электродов, как показано на фиг. 8. Решетка 120 содержит большой верхний электрод ТЕ, который покрывает всю решетку и на котором во время работы, как правило, устанавливается нулевой потенциал. Под упомянутым верхним электродом расположен ряд нижних электродов ВЕ, которые по отдельности соединены с контроллером 130. Посредством установки положительного потенциала на нижнем электроде ВЕ может быть активирован соответствующий исполнительный механизм для осуществления внеплоскостного перемещения. Таким образом, может быть создана волна, которая распространяется по поверхности взаимодействия в положительном или отрицательном направлении х, как требовалось бы, например, для реконфигурируемого UI с функциональностью панели регулировки яркости (или 1-D цветовой температуры), причем панели регулировки яркости могут быть выполнены различной длины. Предпочтительно нижние электроды ВЕ имеют вытянутую форму, благодаря чему положение волны вдоль панели регулировки яркости может быть задано более точно.

В другом, более гибком варианте осуществления изобретения распространяющийся профиль поверхности создается с помощью двумерной решетки 220 электродов, как показано на фиг. 9 на виде сверху поверхности S взаимодействия соответствующего пользовательского интерфейса 200. Решетка 220 содержит множество параллельных столбцов нижних электродов ВЕ, которые по отдельности соединены с контроллером 230 и расположены ниже верхнего электрода ТЕ. В такой решетке 220 может быть создана волна, которая распространяется по поверхности во всех направлениях, как требовалось бы, например, для реконфигурируемого UI с функциональностью реконфигурируемого 2-D колеса для цвета (для управления цветом). Предпочтительно нижние электроды ВЕ имеют симметричную форму (например, квадрата, шестиугольника, круга и т.д.), благодаря чему положение волны в любом случайном направлении может быть задано более точно.

Активированный профиль поверхности (т.е. область с тактильным внеплоскостным возвышением) может располагаться на поверхности взаимодействия в соответствии с ожидаемой близостью пальца (например, на концах панели регулировки яркости /цвета).

В другом варианте осуществления изобретения положение активированного профиля поверхности размещается не просто в ожидаемой близости пальца, а динамически размещается в фактическом положении пальца. Положение пальца может устанавливаться с помощью используемой технологии воспринимающего касание экрана, а положение профиля может регулироваться соответствующим образом. В данном варианте осуществления требуется, чтобы тактильный материал мог деформироваться с относительно высокой скоростью.

Еще в одном, предпочтительном варианте осуществления изобретения положение активированного профиля поверхности размещается не просто в измеряемом положении пальца, а динамически размещается в соответствии как с фактическим положением, так и обнаруженным направлением движения пальца. Положение пальца может устанавливаться либо с помощью используемой технологии воспринимающего касание экрана, либо непосредственно по диэлектрическому исполнительному механизму (который также может использоваться в качестве датчика касания), в то время как обнаружение движения осуществляется с помощью устройства обработки, которое реализует алгоритм обнаружения движения на основе зарегистрированных положений пальца в интервале времени перед текущим положением пальца. Положение активированного профиля поверхности регулируется в соответствии как с положением, так и направлением пальца. Данный вариант осуществления особенно полезен в тех ситуациях, в которых принцип UI требует двумерного перемещения пальца, поскольку в этом случае априори неясно, должен ли создаваться профиль поверхности. Это, в частности, имеет место в случае, если нескольким пальцам требуется наведение для «растягивания» части изображения UI на устройстве отображения, например для «увеличения» до более детальной части цветового пространства, как описано выше.

Данное изобретение может, например, применяться:

- Для обеспечения обратной связи «растягивающегося материала» при увеличении участка (например, мультитач). Это может быть увеличением проекции изображения, отображаемого на экране, либо может быть увеличением конкретного параметра, который управляется элементом пользовательского интерфейса, таким как, например, колесо для цвета для управления освещенностью или бегунок. Пользователь будет испытывать обратную связь усилия «в плоскости», которая наводит на мысль о том, что он в действительности растягивает некоторый материал.

- Для генерирования реконфигурируемых пользовательских интерфейсов на устройствах UI на базе устройства отображения для будущих осветительных систем с несколькими источниками света, в которых конфигурация освещения является расширяемой.

- Для установления интенсивностей и цветов света с помощью панелей регулировки яркости и колес для цвета соответственно.

- Для генерирования 2-мерной «панели регулировки яркости» в качестве альтернативы колесу для цвета, например для выбора цвета для осветительных систем.

- Для обеспечения обратной связи по растягиванию во время выбора конкретного элемента или применения из (главного) меню. Это обеспечивает пользователю тактильное ощущение, что он передвигается на один уровень ниже в структуре меню.

Кроме того, изобретение может предпочтительно быть применимо к элементам пользовательского интерфейса на воспринимающих касание экранах, к воспринимающим касание панелям или к иным чувствительным к прикосновению способам ввода, например воспринимающим касание колесом.

Наконец, необходимо отметить, что в настоящей заявке термин «содержащий» не исключает другие элементы или этапы, что использование единственного числа не исключает множества и что одиночный процессор или иной блок может выполнять функции нескольких средств. Изобретение заключается во всех без исключения новых характерных признаках и во всех без исключения совокупностях характерных признаков. Кроме того, ссылочные позиции в формуле изобретения не должны толковаться как ограничивающие ее объем.

Изобретение относится к пользовательским интерфейсам. Технический результат заключается в обеспечении направленного тактильного ощущения, которое указывает в направлении определенного места на поверхности взаимодействия. Пользовательский интерфейс содержит осязательную поверхность взаимодействия с решеткой исполнительных механизмов для обеспечения тактильной обратной связи, контроллер для согласованного управления исполнительными механизмами таким образом, чтобы они обеспечивали направленное тактильное ощущение. 3 н. и 12 з.п. ф-лы, 9 ил.

1. Пользовательский интерфейс (100, 200), содержащий:
a) осязательную поверхность (S) взаимодействия;
b) массив (120, 220) исполнительных механизмов (120а, 120j, 120k, 120l, 120z), которые расположены в поверхности взаимодействия для обеспечения тактильной обратной связи; и
c) контроллер (130, 230) для согласованного активирования исполнительных механизмов таким образом, чтобы активированные исполнительные механизмы обеспечивали направленное тактильное ощущение, которое указывает в направлении определенного места на поверхности взаимодействия,
в котором направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l) со степенью активирования, которая монотонно изменяется в одном направлении, и/или
в котором исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.

2. Пользовательский интерфейс (100, 200) по п. 1, отличающийся тем, что поверхность (S) взаимодействия выполнена с возможностью определения положения и/или перемещения по меньшей мере одной точки (Р, P1, Р2) касания, в которой к ней прикасается пользователь.

3. Пользовательский интерфейс (100, 200) по п. 2, отличающийся тем, что только исполнительные механизмы (120j, 120k, 120l) в области, которая зависит от положения и/или перемещения упомянутой по меньшей мере одной точки (Р, P1, Р2) касания, активируются для обеспечения направленного тактильного ощущения.

4. Пользовательский интерфейс (100, 200) по п. 2, отличающийся тем, что направление направленного тактильного ощущения зависит от положения и/или перемещения упомянутой по меньшей мере одной точки (Р, P1, Р2) касания.

5. Пользовательский интерфейс (100, 200) по п. 1, в котором направленное тактильное ощущение направлено к определенному месту на поверхности (S) взаимодействия, упомянутое место соответствует положению и/или направлению перемещения элемента управления.

6. Пользовательский интерфейс (100, 200) по п. 5, отличающийся тем, что направленное тактильное ощущение направлено радиально внутрь или наружу относительно центра.

7. Пользовательский интерфейс (100, 200) по п. 5, отличающийся тем, что поверхность (S) взаимодействия расположена над устройством (110) отображения изображений.

8. Пользовательский интерфейс (100, 200) по п. 7, отличающийся тем, что направленное тактильное ощущение коррелируется с изображением и/или последовательностью изображений, показываемой на устройстве отображения.

9. Пользовательский интерфейс (100, 200) по п. 5, дополнительно содержащий:
d) устройство (110) отображения изображений, которое расположено под поверхностью (S) взаимодействия,
в котором направленное тактильное ощущение коррелируется с увеличением или уменьшением отображаемого изображения.

10. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что исполнительные механизмы (120а, 120j, 120k, 120l, 120z) содержат электроактивный материал, в частности электроактивный полимер.

11. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что направленное тактильное ощущение генерируется с помощью последовательного активирования соседних исполнительных механизмов (120j, 120k, 120l).

12. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l), в частности с помощью степени активирования, которая монотонно изменяется в одном направлении.

13. Пользовательский интерфейс (100, 200) по п. 9, отличающийся тем, что исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.

14. Устройство, содержащее пользовательский интерфейс (100, 200) по любому из пп. 1-13, в частности мобильный телефон, контроллер света, пульт дистанционного управления или игровая консоль.

15. Способ для обеспечения тактильной обратной связи пользователю, касающемуся поверхности (S) взаимодействия, с использованием массива (120, 220) исполнительных механизмов (120а, 120j, 120k, 120l, 120z), упомянутый способ содержит согласованное активирование исполнительных механизмов для генерирования направленного тактильного ощущения, которое указывает в направлении определенного места на поверхности взаимодействия,
в котором направленное тактильное ощущение генерируется с помощью ступенчатого активирования исполнительных механизмов (120j, 120k, 120l) со степенью активирования, которая монотонно изменяется в одном направлении, и/или
в котором исполнительные механизмы активируются для изменения трения между объектом, касающимся поверхности (S) взаимодействия, и упомянутой поверхностью.