Система и способ невербальной активации сервиса на мобильном устройстве Российский патент 2021 года по МПК H04W8/00 

Область техники

Изобретение относится к системам управления, а более конкретно к системам и способам невербальной активации сервиса на мобильном устройстве.

Уровень техники

Бурное развитие компьютерных технологий в последнее десятилетие, а также широкое распространение разнообразных вычислительных устройств (персональных компьютеров, ноутбуков, планшетов, смартфонов и т.д.) стали мощным стимулом для использования упомянутых устройств в разнообразных сферах деятельности и для огромного количества задач (от интернет-серфинга до банковских переводов и ведения электронного документооборота).

Прогресс в таких областях, как распознавание речи, машинное обучение, искусственный интеллект и т.д. позволили значительно упростить взаимодействие пользователя с вычислительными системами, что привело, например, к появлению голосовых помощников - приложениям, выполняющих задачи (или использующих сервисы) для пользователя на основе информации, введенной пользователем, данных о его местонахождении, а также информации, полученной из различных интернет-ресурсов.

Одной из задач взаимодействия пользователя с вычислительными системами стала задача эффективной активации задач и сервисов на упомянутых вычислительных системах. Хорошо известны такие вербальные способы, как голосовое управление (например, распознавание звуковых сигналов), и такие невербальные способы, как ручное управление. Но зачастую описанные способы являются медленными, неудобными в применении и тем самым вызывающими раздражение у пользователей.

Например, в патентной публикации US 20050221840 A1 описана технология отслеживания перемещения мобильного устройства путем анализа данных, получаемых с указанного мобильного устройства (не обязательно телефона, в качестве устройства может выступать управляемый дистанционно мобильный робот). На основании собираемых от устройства данных определяется куда и как должно двигаться устройство для выполнения поставленной задачи. В заявленной технологии так же отслеживается перемещение мобильного устройства, но при этом анализируется перемещение пользователем относительно мобильного устройства, а данные, собираемые с устройства изначально не предназначены для проведения его точного позиционирования.

Хотя описанный выше способ работы хорошо справляются с задачами распознавания действий, выполняемых пользователем с мобильным устройством, и выполнения команд на основании выполняемых действий, они зачастую являются предопределенными, неизменяемыми, а алгоритмы, их использующие, - не обучаемыми, таким образом эффективность описанных технологий довольно низка или ограниченна.

Настоящее изобретение позволяет решать задачу активацию сервисов и приложений на мобильном устройстве без голосовых команд (фраз-активаторов).

Раскрытие изобретения

Изобретение предназначено для уменьшения действий, выполняемых пользователем для управления мобильным устройством.

Технический результат настоящего изобретения заключается в активации сервиса на мобильном устройстве с использованием невербальных команд пользователя.

Данный результат достигается с помощью использования системы активации сервиса на мобильном устройстве, которая содержит: средство сбора данных предназначенное для: получения данных с датчиков мобильного устройства, формирования данных о поведении мобильного устройства (далее, поведенческие данные), описывающих изменение параметров мобильного устройства в течении заранее заданного времени, на основании полученных с датчиков данных; средство анализа, предназначенное для анализа поведенческих данных с использованием обученной модель активации, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации; средство активации, предназначенное активации сервиса на мобильном устройстве в случае положительного результата выполненного анализа.

В другом частном случае реализации системы в качестве датчиков мобильного устройства выступают по меньшей мере: акселерометр; гироскоп; магнитометр; датчик приближения; педометр; камера.

Еще в одном частном случае реализации системы эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве.

В другом частном случае реализации системы в качестве параметров мобильного устройства выступают по меньшей мере: относительное положение мобильного устройства в пространстве; положение пользователя мобильного устройства в пространстве относительно мобильного устройства.

Еще в одном частном случае реализации системы изменение положения мобильного устройства относительно пользователя определяется на основании анализа данных о взгляде пользователя, полученных с камеры мобильного устройства.

В другом частном случае реализации системы эталонные поведенческие данные для активации сервиса на мобильном устройстве соответствуют данным с камеры мобильного устройства, характеризующим состояние пользователя, при котором он удерживает взгляд на мобильном устройстве не менее заданного времени.

Еще в одном частном случае реализации системы в качестве активируемого сервиса выступает интеллектуальный персональный программный агент.

В другом частном случае реализации системы интеллектуальный персональный программный агент получает данные с датчиков мобильного устройства, описывающие голосовое сообщение, и начинает выполнять анализ указанных данных до активации, при этом активация заключается в предоставлении результатов работы указанного агента пользователю, а средство активации дополнительно предназначено для активации в зависимости от результатов анализа, выполненного к моменту активации.

Еще в одном частном случае реализации системы эталонные поведенческие данные в модели активации были сформированы как результат машинного обучения упомянутой модели активации.

В другом частном случае реализации системы степень схожести анализируемых и эталонных поведенческих данных представляет собой численное значение, характеризующее вероятность того, что упомянутые анализируемые поведенческие данные соответствуют такому изменению параметров мобильного устройства, которое требуется при активации сервиса на мобильном устройстве.

Еще в одном частном случае реализации системы положительный результат упомянутого анализа получается в случае определенная степень схожести выше заданного порогового значения.

В другом частном случае реализации системы модель активации срабатывает в случае, если определенная степень схожести анализируемых поведенческих данных превышает заранее заданное пороговое значение.

Еще в одном частном случае реализации системы после активации сервиса переобучают модель активации таким образом, чтобы при следующем анализе сформированных поведенческих данных степень схожести сформированных поведенческих данных с эталонными поведенческими данными была выше, чем при текущем.

В другом частном случае реализации системы после вынесения решения об активации сервиса ожидают вербальную реакцию от пользователя для подтверждения вынесенного решения.

Еще в одном частном случае реализации системы после вербальной реакции пользователя переобучают модель поиска шаблонов движения таким образом, чтобы решение об активации сервиса совпадало с вербальной реакцией пользователя.

Данные результаты достигаются с помощью использования способа активации сервиса на мобильном устройстве, при этом способ содержит этапы, которые реализуются с помощью из системы активации сервиса на мобильном устройстве, и на которых: получают данные с датчиков мобильного устройства; формируют данные о поведении мобильного устройства (далее, поведенческие данные), описывающий изменение параметров мобильного устройства в течении заранее заданного времени, на основании полученных с датчиков данных; выполняют анализ поведенческих данных с использованием обученной модели активации, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации, при этом эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве, при этом положительный результат упомянутого анализа получается в случае определенная степень схожести выше заданного порогового значения; активируют сервис на мобильном устройстве в случае положительного результата выполненного анализа.

В другом частном случае реализации способа в качестве датчиков мобильного устройства выступают по меньшей мере: акселерометр; гироскоп; магнитометр; датчик приближения; педометр; камера.

Еще в одном частном случае реализации способа эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве.

В другом частном случае реализации способа в качестве параметров мобильного устройства выступают по меньшей мере: относительное положение мобильного устройства в пространстве; положение пользователя мобильного устройства в пространстве относительно мобильного устройства.

Еще в одном частном случае реализации способа изменение положения мобильного устройства относительно пользователя определяется на основании анализа данных о взгляде пользователя, полученных с камеры мобильного устройства.

В другом частном случае реализации способа эталонные поведенческие данные для активации сервиса на мобильном устройстве схожи с данными с камеры мобильного устройства, характеризующим состояние пользователя, при котором он удерживает взгляд на мобильном устройстве не менее заданного времени.

Еще в одном частном случае реализации способа в качестве активируемого сервиса выступает интеллектуальный персональный программный агент.

В другом частном случае реализации способа интеллектуальный персональный программный агент получает данные с датчиков мобильного устройства, описывающие голосовое сообщение, и начинает выполнять анализ указанных данных до активации указанного агента, при этом активация заключается в предоставлении результатов работы указанного агента пользователю, а на последнем этапе дополнительно активация производится в зависимости от результатов анализа, выполненного к моменту активации.

Еще в одном частном случае реализации способа эталонные поведенческие данные в модели активации были сформированы как результат машинного обучения упомянутой модели активации.

В другом частном случае реализации способа степень схожести анализируемых и эталонных поведенческих данных представляет собой численное значение, характеризующее вероятность того, что упомянутые анализируемые поведенческие данные соответствуют такому изменению параметров мобильного устройства, которое требуется при активации сервиса на мобильном устройстве.

Еще в одном частном случае реализации способа положительный результат упомянутого анализа получается в случае определенная степень схожести выше заданного порогового значения.

В другом частном случае реализации способа модель активации срабатывает в случае, если определенная степень схожести анализируемых поведенческих данных превышает заранее заданное пороговое значение.

Еще в одном частном случае реализации способа после активации сервиса переобучают модель активации таким образом, чтобы при следующем анализе сформированных поведенческих данных степень схожести сформированных поведенческих данных с эталонными поведенческими данными была выше, чем при текущем.

В другом частном случае реализации способа после вынесения решения об активации сервиса ожидают вербальную реакцию от пользователя для подтверждения вынесенного решения.

Еще в одном частном случае реализации способа после вербальной реакции пользователя переобучают модель поиска шаблонов движения таким образом, чтобы решение об активации сервиса совпадало с вербальной реакцией пользователя.

Краткое описание чертежей

Фиг. 1 иллюстрирует систему невербальной активации сервиса на мобильном устройстве.

Фиг. 2 иллюстрирует способ невербальной активации сервиса на мобильном устройстве.

Фиг. 3 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер.

Хотя изобретение может иметь различные модификации и альтернативные формы, характерные признаки, показанные в качестве примера на чертежах, будут описаны подробно. Следует понимать, однако, что цель описания заключается не в ограничении изобретения конкретным его воплощением. Наоборот, целью описания является охват всех изменений, модификаций, входящих в рамки данного изобретения, как это определено приложенной формуле.

Описание вариантов осуществления изобретения

Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, необходимыми для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется в объеме приложенной формулы.

Введем ряд определений и понятий, которые будут использоваться при описании вариантов осуществления изобретения.

Фраза-активатор - подаваемая пользователем голосовая команда, при распознавании которой система запускает сервис.

Фиг. 1 иллюстрирует систему невербальной активации сервиса на мобильном устройстве.

Структурная схема системы невербальной активации сервиса на мобильном устройстве содержит мобильное устройство 100, данные с датчиков мобильного устройства 101, сервис мобильного устройства 102, средство сбора данных 110, средство анализа 120, модель активации 121, средство активации 130, средство переобучения 140.

Средство сбора данных 110 предназначено для:

• получения данных 101 с датчиков мобильного устройства 100;

• формирования данных о поведении мобильного устройства 100 (далее, поведенческие данные), описывающих изменение параметров мобильного устройства 100 в течении заранее заданного времени, на основании полученных с датчиков данных 101;

• и передачи сформированных поведенческих данных средству анализа 120.

В одном из вариантов реализации системы в качестве мобильного устройства выступают по меньшей мере:

• смартфон;

• мобильный телефон;

• планшет;

• ноутбук;

• устройство для чтения электронных книг;

• вычислительные устройства, имеющие датчики, определяющие физические характеристики вычислительного устройства (G-датчики, акселерометры и т.п.) или окружающей вычислительное устройство среды (видео-камеры, микрофоны и т.п.), в том числе элементы умного дома, бытовые приборы и т.д..

Еще в одном из вариантов реализации системы сервисы 102 могут работать:

• локально на мобильном устройстве 100 (в качестве приложений, в том числе приложения биометрической идентификации пользователей);

• удаленно (в качестве облачного сервиса).

Кроме того, для запуска указанных сервисов 102 на мобильном устройстве 100 требуется активация, которая может выполняться по меньшей мере при:

• выполнении голосовой (вербальной) команды пользователя;

• выполнении действий (невербальных) пользователя;

• выполнении анализа окружающей обстановки.

Например, на смартфоне может работать интеллектуальный персональный программный агент (персональный помощник Алиса, Alexa, Siri и т.п.), и для его активации пользователю требуется произвести некоторые действия со смартфоном - произнести голосовую команду (активатор), коснуться экрана, перевести смартфон в вертикальное положение и т.д.

Еще в одном из вариантов реализации системы в качестве датчиков 101 мобильного устройства 100 выступают по меньшей мере:

• акселерометр;

• гироскоп;

• магнитометр;

• датчик приближения;

• педометр;

• микрофон;

• камера.

В качестве команды запуска сервиса (активатора сервиса) могут выступать по меньшей мере:

• голосовая команда пользователя (фраза-активатор), регистрация которой осуществляется с помощью микрофона мобильного устройства 100;

• жест пользователя, осуществляемый без мобильного устройства 100, регистрация которого осуществляется с помощью видеокамеры мобильного устройства 100;

• жест пользователя, осуществляемый вместе с мобильным устройством 100, регистрация которого осуществляется с помощью разнообразных датчиков позиционирования мобильного устройства (G-датчик, акселерометр и т.д.);

• изменение параметров окружающей среды, в том числе:

определение материального окружения пользователя, осуществляемое с помощью в том числе микрофона, видео-камеры, датчиков позиционирования мобильного устройства 100 и т.д.;

определение виртуального (сетевого) окружения пользователя, осуществляемое с помощью WiFi-модуля, bluetooth-моделя, средств сотовой связи мобильного устройства 100 и т.д.;

• комбинация из нескольких описанных выше типов активаторов.

Например, для определения фразы-активатора используется микрофон мобильного устройства 100, для определения изменения положения мобильного устройства 100 - акселерометр, для определения фокуса внимания пользователя (например, определения линии взгляда на мобильном устройстве 100) - камера и т.д.

Еще в одном из вариантов реализации системы в качестве данных, получаемых с датчиков 101 выступают по меньшей мере:

• аудио-данные, получаемые с микрофона;

• видео-данные, получаемые с видеокамеры;

• данные позиционирования (координаты и т.п.), полученные от датчиков глобальной системы позиционирования;

• данные о станциях мобильной связи;

• данные о bluetooth устройствах, находящихся рядом с указанным мобильным устройством 100;

• данные о WiFi-сетях, в зоне действия которых находится мобильное устройство 100;

• данные о положении мобильного устройства 100 в пространстве, получаемые с G-датчика (угол наклона и т.п.);

• данные об ускорении перемещения мобильного устройства 100, получаемые с помощью акселерометра.

Еще в одном из вариантов реализации системы в качестве параметров мобильного устройства 100 выступают по меньшей мере:

• относительное положение мобильного устройства 100 в пространстве (т.е. вектор телефона в виртуальном декартовом пространстве, где за 0 взята любая заданная точка, например, положение мобильного устройства 100 в заданный момент времени, пользователь, ближайшее мобильное устройство 100, мобильное устройство с наиболее высоким уровнем WiFi сигнала и т.д.);

• положение пользователя мобильного устройства 100 в пространстве относительно мобильного устройства 100 (т.е. вектор пользователя относительно вектора телефона в виртуальном декартовом пространстве);

• изменение параметров окружающей среды рядом с мобильным устройством 100 (т.е. в качестве параметра выступает характеристика изменения заданных параметров, например, основной параметр - ускорение мобильного устройства 100 (полученный от акселерометра), а вспомогательный параметр -скорость изменения указанного ускорения, которое позволяет определять направление перемещения мобильного устройства 100 и т.д.), при этом в качестве указанного изменения параметров может выступать по меньшей мере:

скорость изменения заданных параметров;

частота изменения заданных параметров;

функциональная связь изменяемых параметров друг с другом (в случае изменении по меньшей мере двух параметров, например, расстояние до мобильного устройства с самым высоким уровнем WiFi сигнала и уровень WiFi сигнала).

В одном из вариантов реализации системы в качестве параметров окружающей среды выступают по меньшей мере:

• уровень шума;

• уровень освещенности;

• влажность;

• уровень сигнала от сотовых станций;

• GPS-метки.

Например, относительное положение мобильного устройства 100 в пространстве (относительно заданного объекта, например, пользователя или мобильного устройства с самым высоким уровнем WiFi сигнала) может определяться на основании данных акселерометра, гироскопа и т.п.датчиков, позволяющих отслеживать направление перемещения мобильного устройства 100, ускорение перемещения мобильного устройства и т.д.

Еще в одном примере положение пользователя мобильного устройства 100 в пространстве относительно мобильного устройства 100 может определяться на основании данных микрофона (по уровню громкости звука), камеры (анализ видео изображения), датчика приближения и т.д.

Еще в одном примере параметры окружающей среды могут определяться с помощью микрофона (уровень шума), камеры (уровень освещенности), датчика приближения, магнитометра, педометра и т.д.

Еще в одном из вариантов реализации системы изменение положения мобильного устройства 100 относительно пользователя определяется на основании анализа данных 101 о взгляде пользователя, полученных с камеры мобильного устройства 100.

Например, анализируются изображения, полученные с камеры мобильного устройства 100:

• на полученных изображениях распознаются лица, элементы лиц (глаза, нос и т.д.),

• на основании полученных данных строится информация о трехмерном положении лица относительно экрана телефона и определяется вектор направления взгляда относительно телефона.

В описанном примере оценивается не только относительное положение мобильного устройства 100 и пользователя, но и определяется фокус внимания пользователя (на каком объекте пользователь удерживает свой взгляд). Если мобильное устройство 100 находится на расстоянии не выше заданного и пользователь удерживает взгляд на мобильном устройстве 100 не менее заданного времени, то такое сочетание считается активатором (командой запуска сервиса).

К примеру, определяется факт, когда взгляд направлен на телефон.

Кроме непосредственно данных с датчиков мобильного устройства 100 собирается и анализируется динамика изменения во времени получаемых данных. К таким изменениям могут относиться изменение во времени:

• ускорения мобильного устройства 100;

• положения мобильного устройства 100;

• уровня шума около мобильного устройства 100;

• уровня освещенности около мобильного устройства 100;

• уровня сигнала WiFi заданного мобильного устройства 100;

• кол-ва мобильных устройств, находящихся рядом с заданным мобильным устройством 100 или кол-ва мобильных устройств с уровнем сигнала WiFi выше заданного значения.

Благодаря использованию изменений параметров можно более точно определять разнообразных характеристики поведения пользователя, изменения окружающей среды и изменения состояния мобильного устройства 100.

Например, информация об уровне шума (представляющее собой численное значение) может получаться как однократно, так и в течении заданного времени, и таким образом дополнительно может давать информацию об изменении уровня шума, что может интерпретироваться как удаление пользователя от мобильного устройства 100.

Еще в одном из вариантов реализации системы в качестве данных с датчиков 101 мобильного устройства 100 могут выступать данные, полученные с датчиков других мобильных устройств 100.

Например, при анализе данных с датчиков 101 для принятия решения об активации сервиса 102 на мобильном устройстве 100 используются данные, полученные с других мобильных устройств, находящихся в непосредственной близости (к примеру, в одном помещении) от указанного мобильного устройства 100, при этом данные могут передаваться напрямую от одного мобильного устройства 100 к другому по Bluetooth, WiFi или по сети Интернет.

На основании информации от нескольких мобильных устройств 100, каждое из которые может собрать данные о своем непосредственном окружении, можно построить виртуальную среду указанного мобильного устройства 100, которое находится в окружении других мобильных устройств гораздо точнее, чем если бы указанное устройство было бы единственным.

Например, по уровню WiFi сигнала с нескольких мобильных устройств можно построить физическую схему помещения, в котором находятся указанные мобильные устройства вплоть до расположения стен и мебели (не идентифицируя что это такое, только на уровне помехи распространения сигнала).

Еще в одном из вариантов реализации системы эталонные поведенческие данные для активации сервиса 102 на мобильном устройстве 100 схожи с данными с камеры мобильного устройства 100 (т.е. совокупности снятых изображений, на которых запечатлено лицо пользователя), характеризующим состояние пользователя, при котором он удерживает взгляд на мобильном устройстве 100 не менее заданного времени.

Например, несмотря на то, что наличие факта взгляда на мобильном устройстве 100 может регистрироваться многократно и регулярно, в дальнейшем используется (к примеру, как команда-активатор запуска сервиса на мобильном устройстве 100) лишь взгляд, удерживаемый на мобильном устройстве более заданного промежутка времени (к примеру, более 5 секунд). К примеру планшет 100 стоит на подставке на столе, а пользователь регулярно, но бегло (т.е. непродолжительное время) смотрит на стол. Все эти действия пользователя отслеживаются через камеру на планшете 100 и анализируются, однако команда на запуск сервиса не подается до тех пор, пока пользователь не будет смотреть в течении 5 секунд на планшет.

Еще в одном из вариантов реализации системы в качестве активируемого сервиса 102 выступает интеллектуальный персональный программный агент.

Еще в одном из вариантов реализации системы интеллектуальный персональный программный агент, выступающий в качестве сервиса 102, получает данные 101 с датчиков мобильного устройства 100, описывающие голосовое сообщение, и начинает выполнять анализ указанных данных до активации (в качестве активации в данном примере выступает предоставление результата запроса пользователю), при этом активация заключается в предоставлении результатов работы указанного агента пользователю, а средство активации 130 дополнительно предназначено для активации сервиса 102 в зависимости от результатов анализа, выполненного к моменту активации.

Средство анализа 120 предназначено для:

• анализа поведенческих данных с использованием обученной модели активации 121, при этом модель активации 121 представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации 121, при этом эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве, при этом положительный результат упомянутого анализа получается в случае определенная степень схожести выше заданного порогового значения;

• и передачи результатов анализа средству активации 130.

В одном из вариантов реализации системы эталонные поведенческие данные в модели активации 121 были сформированы как результат машинного обучения упомянутой модели активации 121.

Например, предварительно до применения описанной системы на мобильном устройстве 100 с помощью другого мобильного устройства 100 собирают данные, характеризующие действия пользователя, связанные с активацией сервиса на мобильном устройстве 100 (к примеру, поднесение телефона к лицу). На основании собранных данных 101 с датчиков мобильного устройства 100 обучают модель активации 121 таким образом, чтобы схожие действия пользователя, выполненные впоследствии для активации сервиса 102 (к примеру, с поднесением мобильного устройства к лицу пользователя) могли бы быть идентифицированы упомянутой моделью активации 121 (к примеру, через определение степени схожести движения руки пользователя с движением руки пользователя к лицу) с точностью выше заданной (т.е. с ошибками первого и второго рода меньше заданного).

Еще в одном из вариантов реализации системы модель активации 121 обучена по меньшей мере на данных, описывающих:

• речь пользователя;

• жесты пользователя;

• рукописный ввод пользователя;

• графические образы (изображения).

Еще в одном из вариантов реализации анализируемые поведенческие данные и эталонные поведенческие данные сформированы на основании данных, полученных с разных типов датчиков мобильного устройства 100, и характеризуют разные типы данных: звуковые данные, данные об окружающей среде, данные о вербальных и невербальных действиях пользователя, данные о мобильных устройствах 100, находящихся поблизости (наименования моделей, коды доступа для передачи данных между мобильными устройствами 100, характеристики мобильных устройств 100, данные о ПО, работающем на мобильных устройствах 100) и т.д.

Например, для формирования поведенческих данных могут использоваться данные с камеры мобильного устройства 100, на основании которых осуществляется идентификация пользователя по лицу, и данные с G-датчика мобильного устройства, характеризующие перемещение пользователем мобильного устройства 100 в пространстве (что определяется данным об относительном расположении мобильного устройства 100 и пользователя, а также о положении непосредственно самого мобильного устройства 100).

Еще в одном из вариантов реализации системы степень схожести анализируемых и эталонных поведенческих данных (которые относятся к одному и тому же типу, например, данные, описывающие голосовую активацию или данные, описывающие активацию посредством жестов) представляет собой численное значение, характеризующее вероятность того, что упомянутые анализируемые поведенческие данные соответствуют такому изменению параметров мобильного устройства 100, которое требуется при активации сервиса 102 на мобильном устройстве 100.

Например, степень схожести анализируемых и эталонных поведенческих данных может представлять собой численное значение от «0» до «100», где «0» характеризует тот факт, что анализируемые поведенческие данные максимально отличаются от эталонных поведенческих данных (к примеру, упомянутые данные получены при движении пользователя мобильным устройством 100, значительно отличающегося от эталонного движения - поднесения мобильного устройства 100 к лицу пользователя), а «100» характеризует тот факт, что анализируемые поведенческие данные полностью совпадают с эталонными поведенческими данными (к примеру, упомянутые данные получены с движения пользователем мобильного устройства 100, совпадающим с эталонным движением - поднесением мобильного устройства 100 к лицу пользователя). Приведенный выше анализ может математически быть описан как некоторая функция активации.

Еще в одном из вариантов реализации системы модель активации 121 срабатывает в случае, если определенная степень схожести анализируемых поведенческих данных превышает заранее заданное пороговое значение. Иными словами, если некоторая функция активации, которая характеризует модель активации 121 достигает установленного значения.

Например, если степень схожести превышает 80% (в случае, если степень схожести измеряется в процентах), то анализируемые поведенческие данные признаются схожими с эталонными, а сами действия, выполняемые с мобильным устройством 100 признаются схожими (в том числе и идентичными) с эталонными действиями, выполняемыми с мобильным устройством 100. И в этом случае происходит срабатывание модели активации 121.

Еще в одном примере, если в качестве действий выступало удерживание взгляда пользователем на мобильном устройстве 100 (определялось на основании данных, полученных с камеры мобильного устройства 100), то степень схожести тем больше, чем дольше взгляд пользователя удерживается на мобильном устройстве 100 и после заранее заданного времени (к примеру, 5 секунд) степень схожести начинает превышать заданное пороговое значение, и происходит срабатывание модели активации 121.

Еще в одном примере для активации сервиса на мобильном устройстве 100 выступает фраза-активатор. В этом случае происходит сравнение эталонной фразы, заложенной в модель активации 121, и фразы, записанной мобильным устройством 100 с помощью микрофона. Если степень схожести амплитудно-частотных сигналов анализируемой и эталонной фраз превышает заранее заданное пороговое значение, то фразы считаются идентичными и происходит срабатывание модели активации 121. Сравнение анализируемой и эталонной фраз может осуществляться любым известным из уровня техники способом, в том числе с помощью анализа тона, тембора и иных характеристик аудио-данных (по аналогии с сервисом Shazam).

Средство активации 130 предназначено для активации сервиса 102 на мобильном устройстве 100 в случае положительного результата выполненного анализа. При этом результат выполненного анализа может быть как положительным - когда действия пользователя соответствуют действиям, заданным для активации сервиса 102, так и отрицательным - когда действия пользователя не соответствую действиям, заданным для активации сервиса 102.

В одном из вариантов реализации системы после вынесения решения об активации сервиса 102 ожидают вербальную реакцию от пользователя для подтверждения вынесенного решения.

Например, после активации сервиса 102 мобильное устройство распознает дополнительную команду, поданную пользователем (например, в виде дополнительной фразы-активатора).

Рассмотрим случай работы поискового сервиса Google. Стандартная форма работы при словесной активации заключается в том, что пользователь произносит фразу-активатор «ОК, Гугл», после чего произносит запрос, который выполняется поисковым сервисом и выдается пользователю. В описанном выше случае происходит несколько измененная последовательность:

• этап 1: пользователь подносит смартфон к лицу:

после того, как пользователь поднес смартфон к лицу, происходит активация поискового сервиса, записывается голосовой запрос пользователя и направляется для выполнения на сервер;

• этап 2: пользователь произносит дополнительную фразу-активатор:

после того, как пользователь произнес фразу-активатор «ОК, Гугл» производится выдача результата голосового запроса с сервера (если сервер не выдал запрос ранее, что зависит от скорости обработки запроса, загрузки сервера и т.д.);

• этап 3: пользователь получает результат запроса.

Еще в одном из вариантов реализации системы в качестве дополнительного (проверочного) активатора сервиса на мобильном устройстве 100 может служить любой из описанных выше активаторов (фраза, действие, выполненное пользователем, результат анализа взгляда пользователя и т.д.).

Еще в одном из вариантов реализации системы решение об активации сервиса после дополнительного (проверочного) действия пользователя не выполняется до тех пор, пока модель активации 121 не будет обучена настолько хорошо, что кол-во ошибок (т.е. когда активация сервиса является ошибочной и после активации следует от пользователя команда об отмене запуска сервиса 102) станет меньше заранее заданного порогового значения.

Средство переобучения 140 предназначено для переобучения модели активации 121 таким образом, чтобы при следующем анализе сформированных поведенческих данных степень схожести сформированных поведенческих данных с эталонными поведенческими данными, соответствующими приведению мобильного устройства 100 в заранее установленное положение (которое распознается как команда активации сервиса 102), была выше, чем при текущем.

В одном из вариантов реализации системы после вербальной активации сервиса 102 пользователем переобучают модель активации 121 таким образом, чтобы по меньшей мере:

• решение об активации сервиса 102 совпадало с вербальной реакцией пользователя;

• вероятность ошибок первого и второго рода при активации сервиса была меньше, чем до обучения (упомянутые ошибки определяются на основании анализа известных ошибок обработки данных 101 с датчиков мобильного устройства, к примеру заранее известны ошибки при распознавании образов или голосовых команд).

Рассмотрим работу системы невербальной активации сервиса на мобильном устройстве на следующем примере:

На мобильном устройстве 100, в качестве которого выступает смартфон пользователя, работает сервис 102, в качестве которого выступает персональный программный агент «Робот», позволяющий воспринимать речь пользователя, формировать по речи запросы на смартфоне (например, поисковый запрос к сервису Google).

Для работы с известными из уровня техники персональных программных агентов 102, таких как «Алиса», «А1еха», «Siri» и т.д. используется голосовая команда-активатор (например, «ОК, Гугл»), после которой пользователь произносит основной запрос.

В рассматриваемом примере пользователь после того, как решил дать запрос «Роботу» 102 подносит смартфон 100 к лицу и произносит запрос (например, «адрес ближайшего ресторана»). Описываемая система, предназначенная для определения запросов пользователя и выполнения указанных запросов, с помощью средства сбора данных 110 собирает данные с разнообразных датчиков смартфона 100, таких как G-датчик, акселерометр, микрофон и т.д., производит их предварительную обработку (основная цель которой подавление шумов, амплитудно-частотный анализ, например, с помощью преобразований Фурье, и т.д.) и анализ (кластеризация данных на основании заранее заданных шаблонов, выбор какие данные в дальнейшем будут использоваться для определения действий пользователя и т.д.), связь полученных данных друг с другом относительно времени получения данных (например, данные, полученные в момент времени to от акселерометра и G-датчика могут быть объединены в последовательность, описывающую относительное перемещение смартфона 100 в пространстве) и т.д.

После того, как данные собраны (вообще процесс сбора и анализа данных может производиться непрерывно и анализ может выполняться на основании данных, собранных за последние несколько секунд) с помощью средства анализа 120 производится их анализ и определяется, характеризуют ли эти данные факт активации «Робота» 102 (т.е. похожи ли анализируемые данные эталонным данным, определенным заранее и полученным с некоторого «идеального» действия пользователя, которое соответствует активации сервиса 102). Собранные данные формируются как совокупность нескольких сигналов во времени, при этом данные с каждого датчика могут быть представлены как отдельные сигналы, а могут быть объединены в один сигнал с разных датчиков (как было описано выше). После чего происходит сравнение сформированных сигналов с эталонным сигналом, который был предварительно сформирован на основании большой выборки данных, полученных от смартфонов, подносимых к лицу пользователями (эталонное действие). Само сравнение выполняется с помощью обученной модели активации 121. В результате сравнения модель активации 121 выдает численное значение, характеризующее, насколько сформированные и эталонный сигнал схожи. В описанном примере было получено значение ξ=0,93.

После того, как полученные ранее данные были проанализированы и было определено, что характеризуемое ими действие пользователя схоже с эталонным (ξ=0,93, ξ_порог=0,85) (данный признак можно определить как некоторый «порог срабатывания» - численное значение, при достижении которого описываемая система выносит решение о необходимости активации сервиса 102), выносится решение об активации «Робота» 102. После активации сервиса 102 дополнительно включается режим записи голосового запроса для дальнейшего его анализа. Средство активации 130 передает полученный (и сохраненный) голосовой запрос сервису «Робот» 102, который распознает речь (или отправляет оцифрованную речь на сервер или в облако для распознавания средствами сервера), передает распознанный запрос на сервер, получает ответ и формирует его в удобном для пользователя виде (например, показывает отметку ресторана на карте, отображаемой на экране смартфона пользователя 100).

Если по каким-то причинам действия пользователя были интерпретированы неверно и пользователь назвал фразу-блокиратор «Отменить», то собранные ранее данные передаются средству переобучения 140, и средство переобучения в свою очередь обучает модель активации 121 таким образом, чтобы при сравнении описанных выше сигналов с эталонным степень схожести была ниже порогового значения и активация «Робота» не сработала бы 102, (например ξ_{обученный}=0.93, ξ_порог=0,85).

Таким образом, описанная система позволяет пользователю обходиться без каких-либо фраз-активаторов и взаимодействовать с персональными программными агентами, как с людьми, без дополнительных действий, выполняя только минимальный набор действий. И, как следствие, снижает раздраженность (англ. annoy) пользователя от использования сервисом.

Фиг.2 иллюстрирует способ невербальной активации сервиса на мобильном устройстве.

Структурная схема способа невербальной активации сервиса на мобильном устройстве содержит этап 210, на котором получают данные с датчиков мобильного устройства, этап 220, на котором формирую поведенческие данные, этап 230, на котором выполняют анализ, этап 240, на котором активируют сервис, этап 250, на котором переобучают модель активации.

На этапе 210 с помощью средства сбора данных 110 получают данные 101 с датчиков мобильного устройства 100.

На этапе 220 с помощью средства сбора данных 110 формируют данные о поведении мобильного устройства 100 (далее, поведенческие данные), описывающие изменение параметров мобильного устройства 100 в течении заранее заданного времени, на основании полученных с датчиков данных 101.

На этапе 230 с помощью средства анализа 120 выполняют анализ поведенческих данных с использованием обученной модели активации 121, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации 121, при этом эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве, при этом положительный результат упомянутого анализа получается в случае определенная степень схожести выше заданного порогового значения.

На этапе 240 с помощью средства активации 130 активируют сервис 102 на мобильном устройстве 100 в случае положительного результата выполненного анализа.

На этапе 250 с помощью средства переобучения 140 переобучают модель активации 121 таким образом, чтобы при следующем анализе сформированных поведенческих данных степень схожести сформированных поведенческих данных с эталонными поведенческими данными, соответствующими приведению мобильного устройства 100 в заданное положение, была выше, чем при текущем.

Фиг. 3 представляет пример компьютерной системы общего назначения, персональный компьютер или сервер 20, содержащий центральный процессор 21, системную память 22 и системную шину 23, которая содержит разные системные компоненты, в том числе память, связанную с центральным процессором 21. Системная шина 23 реализована, как любая известная из уровня техники шинная структура, содержащая в свою очередь память шины или контроллер памяти шины, периферийную шину и локальную шину, которая способна взаимодействовать с любой другой шинной архитектурой. Системная память содержит постоянное запоминающее устройство (ПЗУ) 24, память с произвольным доступом (ОЗУ) 25. Основная система ввода/вывода (BIOS) 26, содержит основные процедуры, которые обеспечивают передачу информации между элементами персонального компьютера 20, например, в момент загрузки операционной системы с использованием ПЗУ 24.

Персональный компьютер 20 в свою очередь содержит жесткий диск 27 для чтения и записи данных, привод магнитных дисков 28 для чтения и записи на сменные магнитные диски 29 и оптический привод 30 для чтения и записи на сменные оптические диски 31, такие как CD-ROM, DVD-ROM и иные оптические носители информации. Жесткий диск 27, привод магнитных дисков 28, оптический привод 30 соединены с системной шиной 23 через интерфейс жесткого диска 32, интерфейс магнитных дисков 33 и интерфейс оптического привода 34 соответственно. Приводы и соответствующие компьютерные носители информации представляют собой энергонезависимые средства хранения компьютерных инструкций, структур данных, программных модулей и прочих данных персонального компьютера 20.

Настоящее описание раскрывает реализацию системы, которая использует жесткий диск 27, сменный магнитный диск 29 и сменный оптический диск 31, но следует понимать, что возможно применение иных типов компьютерных носителей информации 56, которые способны хранить данные в доступной для чтения компьютером форме (твердотельные накопители, флеш карты памяти, цифровые диски, память с произвольным доступом (ОЗУ) и т.п.), которые подключены к системной шине 23 через контроллер 55.

Компьютер 20 имеет файловую систему 36, где хранится записанная операционная система 35, а также дополнительные программные приложения 37, другие программные модули 38 и данные программ 39. Пользователь имеет возможность вводить команды и информацию в персональный компьютер 20 посредством устройств ввода (клавиатуры 40, манипулятора «мышь» 42). Могут использоваться другие устройства ввода (не отображены): микрофон, джойстик, игровая консоль, сканер и т.п. Подобные устройства ввода по своему обычаю подключают к компьютерной системе 20 через последовательный порт 46, который в свою очередь подсоединен к системной шине, но могут быть подключены иным способом, например, при помощи параллельного порта, игрового порта или универсальной последовательной шины (USB). Монитор 47 или иной тип устройства отображения также подсоединен к системной шине 23 через интерфейс, такой как видеоадаптер 48. В дополнение к монитору 47, персональный компьютер может быть оснащен другими периферийными устройствами вывода (не отображены), например, колонками, принтером и т.п.

Персональный компьютер 20 способен работать в сетевом окружении, при этом используется сетевое соединение с другим или несколькими удаленными компьютерами 49. Удаленный компьютер (или компьютеры) 49 являются такими же персональными компьютерами или серверами, которые имеют большинство или все упомянутые элементы, отмеченные ранее при описании существа персонального компьютера 20, представленного на Фиг. 3. В вычислительной сети могут присутствовать также и другие устройства, например, маршрутизаторы, сетевые станции, пиринговые устройства или иные сетевые узлы.

Сетевые соединения могут образовывать локальную вычислительную сеть (LAN) 50 и глобальную вычислительную сеть (WAN). Такие сети применяются в корпоративных компьютерных сетях, внутренних сетях компаний и, как правило, имеют доступ к сети Интернет. В LAN- или WAN-сетях персональный компьютер 20 подключен к локальной сети 50 через сетевой адаптер или сетевой интерфейс 51. При использовании сетей персональный компьютер 20 может использовать модем 54 или иные средства обеспечения связи с глобальной вычислительной сетью, такой как Интернет. Модем 54, который является внутренним или внешним устройством, подключен к системной шине 23 посредством последовательного порта 46. Следует уточнить, что сетевые соединения являются лишь примерными и не обязаны отображать точную конфигурацию сети, т.е. в действительности существуют иные способы установления соединения техническими средствами связи одного компьютера с другим.

В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой.

Изобретение относится к системам управления. Технический результат заключается в обеспечении возможности активации программного сервиса на мобильном устройстве с использованием невербальных команд пользователя. Способ содержит этапы, на которых получают данные с датчиков мобильного устройства, формируют данные о поведении мобильного устройства (далее, поведенческие данные), описывающие изменение параметров мобильного устройства в течение заранее заданного времени, на основании полученных с датчиков данных, при этом поведение мобильного устройства соответствует по меньшей мере выполнению вербальной команды пользователя, выполнению невербальной команды пользователя, изменениям параметров окружающей обстановки, выполняют анализ поведенческих данных с использованием обученной модели активации, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации, при этом эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве, при этом положительный результат упомянутого анализа получается в случае определённой степени схожести выше заданного порогового значения, активируют сервис на мобильном устройстве в случае положительного результата выполненного анализа. 2 н. и 16 з.п. ф-лы, 3 ил.

1. Система активации программного сервиса (далее, сервис) на мобильном устройстве, которая содержит:

а) средство сбора данных, предназначенное для:

получения данных с датчиков мобильного устройства,

формирования данных о поведении мобильного устройства (далее, поведенческие данные), описывающих изменение параметров мобильного устройства в течение заранее заданного времени, на основании полученных с датчиков данных, при этом поведение мобильного устройства соответствует по меньшей мере:

выполнению вербальной команды пользователя,

выполнению невербальной команды пользователя,

изменениям параметров окружающей обстановки;

б) средство анализа, предназначенное для анализа поведенческих данных с использованием обученной модель активации, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации;

в) средство активации, предназначенное активации сервиса на мобильном устройстве в случае положительного результата выполненного анализа.

2. Система по п. 1, в которой эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве.

3. Система по п. 1, в которой в качестве параметров мобильного устройства выступают по меньшей мере:

относительное положение мобильного устройства в пространстве;

положение пользователя мобильного устройства в пространстве относительно мобильного устройства.

4. Система по п. 3, в которой изменение положения мобильного устройства относительно пользователя определяется на основании анализа данных о взгляде пользователя, полученных с камеры мобильного устройства.

5. Система по п. 4, в которой эталонные поведенческие данные для активации сервиса на мобильном устройстве соответствуют данным с камеры мобильного устройства, характеризующим состояние пользователя, при котором он удерживает взгляд на мобильном устройстве не менее заданного времени.

6. Система по п. 1, в которой в качестве активируемого сервиса выступает интеллектуальный персональный программный агент.

7. Система по п. 6, в которой интеллектуальный персональный программный агент получает данные с датчиков мобильного устройства, описывающие голосовое сообщение, и начинает выполнять анализ указанных данных до активации, при этом активация заключается в предоставлении результатов работы указанного агента пользователю, а средство активации дополнительно предназначено для активации в зависимости от результатов анализа, выполненного к моменту активации.

8. Система по п. 1, в которой после вынесения решения об активации сервиса ожидают вербальную реакцию от пользователя для подтверждения вынесенного решения.

9. Система по п. 8, в которой после вербальной реакции пользователя переобучают модель поиска шаблонов движения таким образом, чтобы решение об активации сервиса совпадало с вербальной реакцией пользователя.

10. Способ активации программного сервиса (далее, сервис) на мобильном устройстве, при этом способ содержит этапы, которые реализуются с помощью системы по п. 1, и на которых:

а) получают данные с датчиков мобильного устройства;

б) формируют данные о поведении мобильного устройства (далее, поведенческие данные), описывающие изменение параметров мобильного устройства в течение заранее заданного времени, на основании полученных с датчиков данных, при этом поведение мобильного устройства соответствует по меньшей мере:

выполнению вербальной команды пользователя,

выполнению невербальной команды пользователя,

изменениям параметров окружающей обстановки;

в) выполняют анализ поведенческих данных с использованием обученной модели активации, при этом модель активации представляет собой совокупность правил определения степени схожести анализируемых поведенческих данных с эталонными поведенческими данными, на основании которой выносится решение о срабатывании упомянутой модели активации, при этом эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве, при этом положительный результат упомянутого анализа получается в случае определённой степени схожести выше заданного порогового значения;

г) активируют сервис на мобильном устройстве в случае положительного результата выполненного анализа.

11. Способ по п. 10, по которому эталонные поведенческие данные - данные о поведении мобильного устройства, которое заранее выбрано в качестве условия активации сервиса на мобильном устройстве.

12. Способ по п. 10, по которому в качестве параметров мобильного устройства выступают по меньшей мере:

относительное положение мобильного устройства в пространстве;

положение пользователя мобильного устройства в пространстве относительно мобильного устройства.

13. Способ по п. 12, по которому изменение положения мобильного устройства относительно пользователя определяется на основании анализа данных о взгляде пользователя, полученных с камеры мобильного устройства.

14. Способ по п. 13, по которому эталонные поведенческие данные для активации сервиса на мобильном устройстве схожи с данными с камеры мобильного устройства, характеризующими состояние пользователя, при котором он удерживает взгляд на мобильном устройстве не менее заданного времени.

15. Способ по п. 10, по которому в качестве активируемого сервиса выступает интеллектуальный персональный программный агент.

16. Способ по п. 15, по которому интеллектуальный персональный программный агент получает данные с датчиков мобильного устройства, описывающие голосовое сообщение, и начинает выполнять анализ указанных данных до активации указанного агента, при этом активация заключается в предоставлении результатов работы указанного агента пользователю, а на этапе г) дополнительно активация производится в зависимости от результатов анализа, выполненного к моменту активации.

17. Способ по п. 10, по которому после вынесения решения об активации сервиса ожидают вербальную реакцию от пользователя для подтверждения вынесенного решения.

18. Способ по п. 17, по которому после вербальной реакции пользователя переобучают модель поиска шаблонов движения таким образом, чтобы решение об активации сервиса совпадало с вербальной реакцией пользователя.