СПОСОБ ЗАПУСКА ПРИЛОЖЕНИЯ И ЭЛЕКТРОННОЕ УСТРОЙСТВО Российский патент 2023 года по МПК A63F13/211 

ОБЛАСТЬ ТЕХНИКИ

[0001] Эта заявка относится к области электронных технологий и, в частности, к способу запуска приложения и электронному устройству.

УРОВЕНЬ ТЕХНИКИ

[0002] Игры стали важной развлекательной функцией для людей. Игра со считыванием движения - это электронная игра, которая выполняется (оперируется) игроком посредством изменения считываний (восприятий) движения и тренирует тело, развлекая игрока, тем самым пользуясь популярностью у игроков.

[0003] Однако большинство существующих игр со считыванием движения требуют наличия периферийного устройства для распознавания движения тела в дополнение к игровой консоли. Периферийное устройство захватывает изображение игрока, а затем распознает считывание движения игрока на основе изображения, и игровая консоль выполняет операцию, соответствующую считыванию движения. Можно видеть, что игроку необходимо дополнительно приобрести специальное периферийное устройство, чтобы испытать игровой процесс со считыванием движения. Кроме того, производителю игр необходимо специально разработать игру со считыванием движения или специально разработать версию, поддерживающую игровой процесс со считыванием движения для существующей игры. Кроме того, поскольку программные и аппаратные возможности различных игровых консолей различны, поддерживаемые считывания движения различны, что приводит к относительно высоким затратам на разработку игрового процесса со считыванием движения.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Эта заявка обеспечивает способ запуска приложения и электронное устройство, так что приложение, поддерживающее управление касания, также может управляться с помощью считывания движения (действия-считывания движения, действия-восприятия движения) пользователя, тем самым помогая улучшить взаимодействие с пользователем и снизить затраты на разработку.

[0005] Для достижения вышеуказанной цели в вариантах осуществления настоящей заявки используются следующие технические решения.

[0006] В соответствии с первым аспектом обеспечен способ запуска приложения, применимый к электронному устройству, имеющему по меньшей мере одну камеру и экран касания. Способ включает в себя: отображение электронным устройством первой картинки первого приложения, при этом первое приложение поддерживает управление пользователем первым приложением посредством операции касания на экране касания; захват электронным устройством первого изображения пользователя с использованием по меньшей мере одной камеры и распознавание первого считывания движения пользователя на первом изображении; определение посредством электронного устройства первой информации операции считывания, соответствующей первому считыванию движения, где первая информация операции касания включает в себя тип первой операции касания и положение, в котором выполняется первая операции касания на экране касания; и выполнение электронным устройством операции, соответствующей первой операции касания, в ответ на определение первой информации операции касания, соответствующей первому считыванию движения.

[0007] Первым приложением может быть любое приложение, установленное на электронном устройстве, и приложение может поддерживать операцию касания для управления. Например, первое приложение может быть игровым приложением.

[0008] Операцией, соответствующей первой операции касания, может быть отображение другой картинки, или может быть вывод конкретного голоса, или может быть вывод другого конкретного сигнала, и т.п. Операция, соответствующая первой операции касания, не ограничивается вариантами осуществления этой заявки.

[0009] Можно видеть, что в этой заявке считывание движения сопоставляется с операцией касания, изначально поддерживаемой первым приложением, так что функция, для которой первое приложение поддерживает игровой процесс со считыванием движения, также может быть реализована без модификации собственного кода первого приложения, тем самым улучшая опыт использования первого приложения. То есть в способе, представленном в этой заявке, функцию поддержки игрового процесса со считыванием движения не нужно разрабатывать отдельно для каждого первого приложения, что выгодно для снижения затрат на разработку.

[0010] В возможной реализации выполнение электронным устройством операции, соответствующей первой операции касания, включает в себя: отображение электронным устройством второй картинки первого приложения, где вторая картинка такая же, как картинка, отображаемая посредством электронного устройства в ответ на то, что пользователь выполняет первую операцию касания на первой картинке.

[0011] В возможной реализации определение электронным устройством первой информации операции касания, соответствующей первому считыванию движения, включает в себя: вызов электронным устройством интерфейса уровня прикладной инфраструктуры и определение первой информации операции касания, соответствующей первому считыванию движения.

[0012] Можно видеть, что в этой заявке посредством системной службы считывание движения может быть сопоставлено с операцией касания, изначально поддерживаемой первым приложением, для реализации функции, для которой первое приложение поддерживает игровой процесс со считыванием движения. То есть каждое первое приложение, поддерживающее операцию касания, может реализовать функцию поддержки игрового процесса со считыванием движения посредством вызова системной службы.

[0013] В возможной реализации, перед захватом электронным устройством первого изображения пользователя посредством вызова по меньшей мере одной камеры, способ дополнительно включает в себя: прием электронным устройством операции, в которой пользователь активирует первую функцию; и активация с помощью электронного устройства первой функции в ответ на операцию, при которой пользователь активирует первую функцию, где первая функция представляет собой функцию, первое приложение которой поддерживает управление пользователем первым приложением посредством считывания движения. Можно видеть, что пользователь может выбрать, активировать ли функцию игрового процесса со считыванием движения.

[0014] В возможной реализации, после активации электронным устройством первой функции, способ дополнительно включает в себя: добавление электронным устройством слоя к картинке первого приложения, где слой включает в себя непрозрачную область и прозрачную область, а непрозрачная область отображает интерфейс настройки первой функции. Следовательно, эта заявка предоставляет способ отображения интерфейса настройки первой функции, чтобы облегчить пользователю настройку первой функции.

[0015] В возможной реализации способ дополнительно включает в себя: прием электронным устройством операции, в которой пользователь настраивает соответствие между считыванием движения и операцией касания, используя интерфейс настройки первой функции, где операция касания включает в себя тип операции касания и положение, в котором выполняется операция касания на экране касания. Можно видеть, что в способе, предоставленном в этой заявке, пользователь может настроить соответствие между считыванием движения и операцией касания для достижения персонализации и разнообразия игрового процесса со считыванием движения.

[0016] В возможной реализации тип операции касания включает в себя, по меньшей мере, одно из следующего: операцию постукивания, операцию скольжения, операцию двойного постукивания, операцию касания и удерживания, операцию постукивания суставом пальца, операцию многоточечного касания и предопределенный жест.

[0017] В возможной реализации способ дополнительно включает в себя: сохранение с помощью электронного устройства настройки пользователя для соответствия между считыванием движения и операцией касания; и добавление электронным устройством второго слоя к картинке первого приложения, где второй слой включает в себя непрозрачную область и прозрачную область, и непрозрачная область отображает окно предварительного просмотра по меньшей мере одной камеры. Следовательно, пользователь может просматривать считывание движения пользователя с помощью окна предварительного просмотра камеры, тем самым повышая точность использования считывания движения и улучшая впечатления пользователя от использования.

[0018] В возможной реализации по меньшей мере одна камера включает в себя камеру глубины.

[0019] В возможной реализации способ дополнительно включает в себя: активацию электронным устройством функции дублирования экрана и инструктирование другому электронному устройству, которое подключено к упомянутому электронному устройству и имеет экран, отображать картинку электронного устройства. Можно видеть, что электронное устройство может проецировать картинку, отображаемую на экране, на другое электронное устройство с большим экраном, что полезно для улучшения визуального восприятия пользователя.

[0020] Согласно второму аспекту обеспечено электронное устройство, включающее в себя: по меньшей мере один процессор, экран касания и по меньшей мере одну камеру, при этом экран касания и по меньшей мере одна камера подсоединены к процессору. Экран касания сконфигурирован для отображения первой картинки первого приложения, при этом первое приложение поддерживает управление пользователем первым приложением посредством операции касания на экране касания; по меньшей мере одна камера выполнена с возможностью захвата первого изображения пользователя; и по меньшей мере один процессор выполнен с возможностью распознавания первого считывания движения пользователя на первом изображении; определение первой информации операции касания, соответствующей первому считыванию движения, где первая информация операции касания включает в себя тип первой операции касания и положение, в котором выполняется первая операция касания на экране касания; и выполняют операцию, соответствующую первой операции касания, в ответ на определение первой информации операции касания, соответствующей первому считыванию движения.

[0021] Первое приложение может быть, например, игровым приложением.

[0022] В возможной реализации выполнение операции, соответствующей первой операции касания, конкретно включает в себя: управление экраном касания для отображения второй картинки первого приложения, где вторая картинка такая же, как картинка, отображаемая электронным устройством в ответ на что пользователь выполняет первую операцию касания на первой картинке.

[0023] В возможной реализации определение первой информации операции касания, соответствующей первому считыванию движения, конкретно включает в себя: вызов интерфейса уровня прикладной инфраструктуры электронного устройства и определение первой информации операции касания, соответствующей первому считыванию движения.

[0024] В возможной реализации по меньшей мере один процессор дополнительно сконфигурирован для: приема операции, при которой пользователь активирует первую функцию; и активации первой функции в ответ на операцию, при которой пользователь активирует первую функцию, где первая функция представляет собой функцию, в которой первое приложение поддерживает управление пользователем первым приложением посредством считывания движения.

[0025] В возможной реализации, по меньшей мере, один процессор дополнительно сконфигурирован для добавления слоя к картинке первого приложения, где слой включает в себя непрозрачную область и прозрачную область, и непрозрачная область отображает интерфейс настройки первой функции.

[0026] В возможной реализации, по меньшей мере, один процессор дополнительно сконфигурирован для приема операции, в которой пользователь настраивает соответствие между считыванием движения и операцией касания, используя интерфейс настройки первой функции, где операция касания включает в себя тип операции касания и положение, в котором выполняется операция касания на экране касания.

[0027] В возможной реализации тип операции касания включает по меньшей мере одно из следующего: операция постукивания, операция скольжения, операция двойного постукивания, операция касания и удерживания, операция постукивания суставом пальца, операция многоточечного касания и предопределенный жест.

[0028] В возможной реализации, по меньшей мере, один процессор дополнительно сконфигурирован для сохранения настройки пользователя для соответствия между считыванием движения и операцией касания; и добавления второго слоя к картинке первого приложения, где второй слой включает в себя непрозрачную область и прозрачную область, и непрозрачная область отображает окно предварительного просмотра по меньшей мере одной камеры.

[0029] В возможной реализации по меньшей мере одна камера включает в себя камеру глубины.

[0030] В возможной реализации, по меньшей мере, один процессор дополнительно сконфигурирован для активации функции дублирования экрана и инструктирования другому электронному устройству, которое подключено к электронному устройству и имеет экран, отображать картинку электронного устройства.

[0031] В соответствии с третьим аспектом предоставляется компьютерный носитель данных, включающий в себя компьютерные инструкции, где компьютерные инструкции при запуске на терминале вызывают выполнение терминалом способа согласно первому аспекту и любой из его возможных реализаций.

[0032] В соответствии с четвертым аспектом предоставляется компьютерный программный продукт, где компьютерный программный продукт при запуске на компьютере заставляет компьютер выполнять способ в соответствии с первым аспектом и любой из его возможных реализаций.

[0033] В соответствии с пятым аспектом предоставляется система микросхем, включающая в себя по меньшей мере один процессор, причем, когда по меньшей мере один процессор выполняет инструкции, по меньшей мере один процессор выполняет способ согласно первому аспекту и любой из его возможных реализаций.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0034] Фиг. 1 - схематическая структурная диаграмма 1 электронного устройства согласно варианту осуществления этой заявки.

[0035] Фиг. 2 - схематическая структурная диаграмма 2 электронного устройства согласно варианту осуществления этой заявки.

[0036] Фиг. 3A представляет собой схематическое представление некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0037] Фиг. 3B представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0038] Фиг. 3C представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0039] Фиг. 4A представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0040] Фиг. 4B представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0041] Фиг. 4С представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0042] Фиг. 5A представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0043] Фиг. 5B представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0044] Фиг. 5C представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0045] Фиг. 5D представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0046] Фиг. 5E представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0047] Фиг. 5F представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0048] Фиг. 5G представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0049] Фиг. 5H представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства в соответствии с вариантом осуществления этой заявки.

[0050] Фиг. 5I представляет собой схематическое представление еще некоторых пользовательских интерфейсов электронного устройства согласно варианту осуществления этой заявки.

[0051] Фиг. 6A представляет собой схематическое изображение способа распознавания точек костей на портрете в соответствии с вариантом осуществления этой заявки.

[0052] Фиг. 6B представляет собой схематическое изображение другого способа распознавания точек костей на портрете в соответствии с вариантом осуществления этой заявки.

[0053] Фиг. 6C представляет собой схематическое изображение другого способа распознавания точек костей на портрете согласно варианту осуществления этой заявки.

[0054] Фиг. 6D представляет собой схематическую диаграмму другого способа распознавания точек костей на портрете в соответствии с вариантом осуществления этой заявки.

[0055] Фиг. 6E представляет собой схему другого способа распознавания точек костей на портрете в соответствии с вариантом осуществления этой заявки.

[0056] Фиг. 6F представляет собой схематическую диаграмму другого способа распознавания точек костей на портрете в соответствии с вариантом осуществления этой заявки.

[0057] Фиг. 7 представляет собой схематическую структурную схему системы микросхем согласно варианту осуществления этой заявки.

Описание вариантов осуществления

[0058] В описаниях вариантов осуществления данной заявки, если не указано иное, «/» представляет собой ИЛИ, означающее, например, что А/В может представлять собой А или В; и «и/или» в этой спецификации является просто ассоциативным отношением для описания ассоциированных объектов и означает, что могут существовать три отношения. Например, A и/или B могут представлять следующие три случая: имеется только A, имеются и A, и B, и имеется только B.

[0059] Термины «первый» и «второй», упомянутые ниже, используются только для целей описания и не должны толковаться как указывающие или подразумевающие относительную важность или подразумевающие количество указанных технических характеристик. Следовательно, функция, ограниченная «первой» или «второй», может явно или неявно включать в себя одну или несколько функций. В описании вариантов осуществления данной заявки, если не указано иное, «множество» означает два или более.

[0060] В вариантах осуществления этой заявки слово «примерный» или «например» используется для представления примера, иллюстрации или описания. Любой вариант осуществления или схема конструкции, описанная как «примерная» или «примерная» в вариантах осуществления этой заявки, не должна объясняться как более предпочтительная или имеющая больше преимуществ, чем другой вариант осуществления или схема конструкции. В частности, использование слова «примерный» или «например» и т.п. предназначено для представления родственной концепции конкретным образом.

[0061] Например, электронным устройством в этой заявке может быть мобильный телефон, планшетный компьютер, персональный компьютер (personal computer, PC), персональный цифровой помощник (personal digital assistant, PDA), смарт-часы, нетбук, носимое электронное устройство или устройство дополненной реальности (augmented reality, AR), устройство виртуальной реальности (virtual reality, VR), бортовое устройство, умный автомобиль, умный динамик, робот и т.п. Конкретная форма электронного устройства конкретно не ограничена в этой заявке.

[0062] Фиг. 1 представляет собой структурную схему электронного устройства 100.

[0063] Электронное устройство 100 может включать в себя процессор 110, интерфейс 120 внешней памяти, внутреннюю память 121, интерфейс 130 универсальной последовательной шины (universal serial bus, USB), модуль 140 управления зарядкой, модуль 141 управления питанием, аккумулятор 142, антенну 1, антенну 2, модуль 150 мобильной связи, модуль 160 беспроводной связи, аудиомодуль 170, динамик 170А, телефонную трубку 170В, микрофон 170С, разъем 170D для гарнитуры, модуль 180 датчиков, клавиша 190, мотор 191, индикатор 192, камеру 193, экран 194 отображения, интерфейс 195 карты модуля идентификации абонента (subscriber identity module, SIM) и т.п. Модуль 180 датчиков может включать в себя датчик 180А давления, гироскопический датчик 180В, датчик 180С атмосферного давления, магнитный датчик 180D, датчик 180Е ускорения, датчик 180F расстояния, оптический датчик 180G приближения, датчик 180Н отпечатков пальцев, датчик 180J температуры и датчик 180K касания, датчик 180L внешней освещенности, датчик 180M костной проводимости и т.п.

[0064] Можно понять, что примерная структура в этом варианте осуществления настоящего изобретения не накладывает конкретного ограничения на электронное устройство 100. В некоторых других вариантах осуществления этой заявки электронное устройство 100 может включать больше или меньше компонентов, чем показано на фигуре, или некоторые компоненты могут быть объединены, или некоторые компоненты могут быть разделены, или компоненты расположены по-разному. Компоненты на фигуре могут быть реализованы с помощью аппаратных средств, программного обеспечения или комбинации программного и аппаратного обеспечения.

[0065] Процессор 110 может включать в себя один или более блоков обработки. Например, процессор 110 может включать в себя процессор приложений (application processor, AP), процессор модема, блок обработки графики (graphics processing unit, GPU), процессор сигналов изображения (image signal processor, ISP), контроллер, видеокодек, процессор цифровых сигналов (digital signal processor, DSP), процессор основной полосы частот и/или блок обработки нейронной сети (neural-network processing unit, NPU). Различные блоки обработки могут быть независимыми компонентами или могут быть интегрированы в один или несколько процессоров.

[0066] Контроллер может генерировать сигнал управления работой в соответствии с кодом операции инструкции и сигналом последовательности, чтобы завершить управление выборкой и выполнением инструкций.

[0067] Память может быть дополнительно сконфигурирована в процессоре 110 для хранения инструкций и данных. В некоторых вариантах осуществления память в процессоре 110 представляет собой кэш. Память может хранить инструкцию или данные, которые только что использовались или циклически использовались процессором 110. Если процессору 110 необходимо снова использовать инструкцию или данные, процессор может напрямую вызвать инструкцию или данные из памяти, чтобы избежать повторного доступа и сократить время ожидания процессора 110, тем самым повышая эффективность системы.

[0068] В некоторых вариантах осуществления этой заявки процессор 110 может анализировать изображение, захваченное камерой 193, для определения считывания движения (действия-считывания движения, действия-восприятия движения) пользователя и определения, является ли считывание (восприятие) движения пользователя предопределенным считыванием (восприятием) движения. Затем находится операция касания в целевой игре, соответствующая предопределенному считыванию движения, и инструкция соответствующей операции касания отправляется приложению целевой игры, так что приложение целевой игры выполняет соответствующий ответ для достижения эффекта, что пользователь управляет целевой игрой, используя считывание движения.

[0069] В некоторых вариантах осуществления процессор 110 может включать в себя один или несколько интерфейсов. Интерфейс может включать в себя интерфейс интегральной схемы (inter-integrated circuit, I2C), звуковой интерфейс интегральной схемы (inter-integrated Circuit sound, I2S), интерфейс импульсно-кодовой модуляции (pulse code modulation, PCM), интерфейс универсального асинхронного приемника/ передатчика (universal asynchronous receiver/transmitter, UART), интерфейс процессора мобильной индустрии (mobile industry processor interface, MIPI), интерфейс ввода/вывода общего назначения (general-purpose input/output, GPIO), интерфейс модуля идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или т.п.

[0070] Интерфейс I2C представляет собой двухстороннюю последовательную шину синхронизации и включает в себя последовательную линию данных (serial data line, SDA) и последовательную линию синхронизации (serail clock line, SCL). В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2C. Процессор 110 может быть соединен с датчиком 180К касания, зарядным устройством, вспышкой, камерой 193 и т.п. с помощью различных интерфейсов шины I2C. Например, процессор 110 может быть подсоединен к датчику 180K касания посредством интерфейса I2C, так что процессор 110 обменивается данными с датчиком 180K касания посредством интерфейса шины I2C, чтобы реализовать функцию касания электронного устройства 100.

[0071] Интерфейс I2S может использоваться для аудиосвязи. В некоторых вариантах осуществления процессор 110 может включать в себя множество групп шин I2S. Процессор 110 может быть соединен с аудиомодулем 170 с помощью шины I2S для осуществления связи между процессором 110 и аудиомодулем 170. В некоторых вариантах осуществления аудиомодуль 170 может передавать аудиосигнал модулю 160 беспроводной связи с использованием интерфейса I2S для реализации функции ответа на вызов с использованием гарнитуры Bluetooth.

[0072] Интерфейс PCM также может использоваться для аудиосвязи, а также для дискретизации, квантования и кодирования аналогового сигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть соединен с модулем 160 беспроводной связи с использованием интерфейса шины PCM. В некоторых вариантах осуществления аудиомодуль 170 может альтернативно передавать аудиосигнал в модуль 160 беспроводной связи с использованием интерфейса PCM для реализации функции ответа на вызов с использованием гарнитуры Bluetooth. И интерфейс I2S, и интерфейс PCM могут использоваться для аудиосвязи.

[0073] Интерфейс UART представляет собой универсальную последовательную шину данных и используется для асинхронной связи. Шина может быть шиной двусторонней связи. Шина преобразует подлежащие передаче данные между последовательной связью и параллельной связью. В некоторых вариантах осуществления интерфейс UART обычно сконфигурирован для подключения процессора 110 к модулю 160 беспроводной связи. Например, процессор 110 обменивается данными с модулем Bluetooth в модуле 160 беспроводной связи с использованием интерфейса UART для реализации функции Bluetooth. В некоторых вариантах осуществления аудиомодуль 170 может передавать аудиосигнал на модуль 160 беспроводной связи с использованием интерфейса UART для реализации функции воспроизведения музыки с использованием гарнитуры Bluetooth.

[0074] Интерфейс MIPI может быть сконфигурирован для подключения процессора 110 к периферийным устройствам, таким как экран 194 отображения и камера 193. Интерфейс MIPI включает в себя последовательный интерфейс камеры (camera serial interface, CSI), последовательный интерфейс дисплея (display serial interface, DSI) и т.п. В некоторых вариантах осуществления процессор 110 осуществляет связь с камерой 193 с помощью интерфейса CSI для реализации функции фотографирования электронного устройства 100. Процессор 110 осуществляет связь с экраном 194 отображения с помощью интерфейса DSI для реализации функции отображения электронного устройства 100.

[0075] Интерфейс GPIO может быть сконфигурирован с помощью программного обеспечения. Интерфейс GPIO может быть сконфигурирован для передачи управляющего сигнала или может быть сконфигурирован для передачи сигнала данных. В некоторых вариантах осуществления интерфейс GPIO может быть сконфигурирован для подключения процессора 110 к камере 193, экрану 194 отображения, модулю 160 беспроводной связи, аудиомодулю 170, модулю 180 датчиков и т.п. Интерфейс GPIO также может быть сконфигурирован как интерфейс I2C, интерфейс I2S, интерфейс UART, интерфейс MIPI и т.п.

[0076] Интерфейс 130 USB представляет собой интерфейс, который соответствует спецификации стандарта USB и может быть, в частности, интерфейсом мини-USB, интерфейсом микро-USB, интерфейсом USB типа C и т.п. USB-интерфейс 130 может быть сконфигурирован для подключения к зарядному устройству для зарядки электронного устройства 100, или может использоваться для передачи данных между электронным устройством 100 и периферийным устройством, или может быть сконфигурирован для подключения к гарнитуре для воспроизведения звука с помощью с помощью гарнитуры. В качестве альтернативы интерфейс может быть сконфигурирован для подключения к другому электронному устройству, такому как устройство AR.

[0077] Можно понять, что взаимосвязь интерфейсного соединения между модулями, показанными в этом варианте осуществления настоящего изобретения, является просто примером для описания и не является ограничением конструкции электронного устройства 100. В некоторых других вариантах осуществления этой заявки электронное устройство 100 может альтернативно использовать способ соединения интерфейса, отличный от способа соединения в предыдущем варианте осуществления, или использовать комбинацию множества способов соединения интерфейса.

[0078] Модуль 140 управления зарядкой сконфигурирован для приема входных данных о зарядке от зарядного устройства. Зарядное устройство может быть беспроводным зарядным устройством или может быть проводным зарядным устройством. В некоторых вариантах осуществления проводной зарядки модуль 140 управления зарядкой может принимать ввод зарядки от проводного зарядного устройства с использованием интерфейса 130 USB. В некоторых вариантах осуществления беспроводной зарядки модуль 140 управления зарядкой может принимать вход беспроводной зарядки с помощью катушки беспроводной зарядки электронного устройства 100. Модуль 140 управления зарядкой может подавать питание для электронного устройства с помощью модуля 141 управления питанием во время зарядки аккумулятора 142.

[0079] Модуль 141 управления питанием выполнен с возможностью подсоединения к аккумулятору 142, модулю 140 управления зарядкой и процессору 110. Модуль 141 управления питанием принимает ввод от батареи 142 и/или модуля 140 управления зарядкой для подачи питания на процессор 110, внутреннюю память 121, экран 194 отображения, камеру 193, модуль 160 беспроводной связи и т.п. Модуль 141 управления питанием может быть дополнительно сконфигурирован для отслеживания таких параметров, как емкость батареи, количество циклов работы батареи и состояние батареи (утечка тока и импеданс). В некоторых других вариантах осуществления модуль 141 управления питанием может быть альтернативно расположен в процессоре 110. В некоторых других вариантах осуществления модуль 141 управления питанием и модуль 140 управления зарядкой могут быть дополнительно сконфигурированы в одном и том же устройстве.

[0080] Функция беспроводной связи электронного устройства 100 может быть реализована с использованием антенны 1, антенны 2, модуля 150 мобильной связи, модуля 160 беспроводной связи, процессора модема, процессора основной полосы частот и т.п.

[0081] Антенна 1 и антенна 2 выполнены с возможностью передачи и приема сигнала электромагнитной волны. Каждая антенна электронного устройства 100 может быть сконфигурирована для покрытия одного или нескольких диапазонов частот связи. Различные антенны также могут быть мультиплексированы для улучшения использования антенн. Например, антенна 1 может быть мультиплексирована как разнесенная антенна беспроводной локальной сети. В некоторых других вариантах осуществления антенна может использоваться в сочетании с переключателем настройки.

[0082] Модуль 150 мобильной связи может предоставлять решение для беспроводной связи, такой как 2G/3G/4G/5G, применяемое к электронному устройству 100. Модуль 150 мобильной связи может включать в себя по меньшей мере один фильтр, переключатель, усилитель мощности, малошумящий усилитель (low noise amplifier, LNA) и т.п. Модуль 150 мобильной связи может принимать электромагнитную волну через антенну 1, выполнять такую обработку, как фильтрация и усиление принятой электромагнитной волны, и передавать обработанную электромагнитную волну процессору модема для демодуляции. Модуль 150 мобильной связи может дополнительно усиливать сигнал, модулированный процессором модема, и конвертировать сигнал в электромагнитную волну для излучения через антенну 1. В некоторых вариантах осуществления по меньшей мере некоторые функциональные модули модуля 150 мобильной связи могут быть расположены в процессоре 110. В некоторых вариантах осуществления по меньшей мере некоторые функциональные модули модуля 150 мобильной связи и по меньшей мере некоторые модули процессора 110 могут быть расположены в одном и том же компоненте.

[0083] Процессор модема может включать в себя модулятор и демодулятор. Модулятор сконфигурирован для модуляции низкочастотного сигнала основной полосы частот, который должен быть отправлен, в средне-высокочастотный сигнал. Демодулятор сконфигурирован для демодуляции принятого сигнала электромагнитной волны в низкочастотный сигнал основной полосы частот. Затем демодулятор передает демодулированный низкочастотный сигнал основной полосы частот процессору основной полосы частот для обработки. Низкочастотный сигнал основной полосы частот обрабатывается процессором основной полосы частот и затем передается на процессор приложения. Процессор приложения выводит звуковой сигнал через аудиоустройство (которое не ограничивается динамиком 170А, телефонной трубкой 170В и т.п.) или отображает изображение или видео через экран 194 отображения. В некоторых вариантах осуществления процессор модема может быть независимым устройством. В некоторых других вариантах осуществления модемный процессор может быть независимым от процессора 110, и модемный процессор и модуль 150 мобильной связи или другой функциональный модуль могут быть расположены в одном и том же компоненте.

[0084] Модуль 160 беспроводной связи может обеспечить решение для решения беспроводной связи, включающее в себя беспроводную локальную сеть (wireless local area network, WLAN) (такую как сеть беспроводной достоверности (Wireless Fidelity, Wi-Fi)), Bluetooth (Bluetooth, BT), и глобальная навигационная спутниковая система (global navigation satellite system, GNSS), частотная модуляция (frequency modulation, FM), технология связи ближнего поля (near field communication, NFC), инфракрасная технология (infrared, ИК) и т.п. для применения к электронному устройству 100. Модуль 160 беспроводной связи может представлять собой одно или несколько устройств, объединяющих по меньшей мере один модуль обработки связи. Модуль 160 беспроводной связи принимает электромагнитную волну с помощью антенны 2, выполняет частотную модуляцию и обработку фильтрации сигнала электромагнитной волны и отправляет обработанный сигнал в процессор 110. Модуль 160 беспроводной связи сигнал может альтернативно принимать сигнал, который должен быть отправлен, от процессора 110, выполнять частотную модуляцию и усиление для сигнала, который должен быть отправлен, и конвертировать сигнал в электромагнитную волну для излучения с помощью антенны 2.

[0085] В некоторых вариантах осуществления антенна 1 и модуль 150 мобильной связи электронного устройства 100 соединены, а антенна 2 и модуль 160 беспроводной связи соединены, так что электронное устройство 100 может осуществлять связь с сетью и другим устройством с помощью технология беспроводной связи. Технология беспроводной связи может включать в себя глобальную систему для мобильной связи (global system for mobile communications, GSM), общую службу пакетной радиосвязи (global system for mobile communications, GPRS), множественный доступ с кодовым разделением каналов (code division multiple access, CDMA), широкополосный множественный доступ с кодовым разделением каналов ( wideband code division multiple access , WCDMA), множественный доступ с временным разделением каналов (time-division code division multiple access, TD-SCDMA), долгосрочное развитие (long term evolution, LTE), BT, GNSS, WLAN, NFC, FM, ИК-технологию и/или т.п. В состав GNSS могут входить глобальная система позиционирования (global positioning system, GPS), глобальная навигационная спутниковая система (global navigation satellite system, GLONASS), навигационная спутниковая система бэйдоу (beidou navigation satellite system, BDS), квазизенитная спутниковая система (quasi-zenith satellite system, QZSS) и/или спутниковая система дополнений (satellite based augmentation systems, SBAS).

[0086] Электронное устройство 100 реализует функцию отображения с использованием графического процессора (GPU), экрана 194 отображения, процессора приложений и т.п. GPU представляет собой микропроцессор для обработки изображений и соединен с экраном 194 отображения и процессором приложений. GPU сконфигурирован для выполнения математических и геометрических вычислений и рендеринга графики. Процессор 110 может включать в себя один или несколько GPU и выполнять программные инструкции для генерирования или изменения информации отображения.

[0087] Экран 194 отображения сконфигурирован для отображения изображения, видео и т.п. Экран 194 отображения включает в себя панель отображения. Панель отображения может представлять собой жидкокристаллический дисплей (liquid crystal display, LCD), органический светоизлучающий диод (organic light-emitting diode, OLED), органический светоизлучающий диод с активной матрицей (active-matrix organic light emitting diode, AMOLED), гибкий светоизлучающий диод (flex light-emitting diode, FLED), Miniled, MicroLed, Micro-oLed, светоизлучающие диоды с квантовыми точками (quantum dot light emitting diodes, QLED) и т.п. В некоторых вариантах осуществления электронное устройство 100 может включать в себя один или N экранов 194 отображения, где N представляет собой положительное целое число, большее 1.

[0088] Электронное устройство 100 может реализовать функцию фотографирования с использованием ISP, камеры 193, видеокодека, графического процессора (GPU), экрана 194 отображения, процессора приложений и т.п.

[0089] ISP сконфигурирован для обработки данных, возвращаемых камерой 193. Например, во время фотографирования активирован затвор. Свет передается на светочувствительный элемент камеры через объектив, а оптический сигнал конвертируется в электрический сигнал. Светочувствительный элемент камеры передает электрический сигнал на ISP для обработки, следовательно электрический сигнал конвертируется в изображение, видимое невооруженным глазом. ISP также может выполнять оптимизацию алгоритма по точкам шума, яркости и оттенку кожи. ISP также может оптимизировать такие параметры, как экспозиция и цветовая температура сцены съемки. В некоторых вариантах осуществления ISP может быть расположен в камере 193.

[0090] Камера 193 сконфигурирована для захвата статического изображения или видео. Оптическое изображение объекта генерируется через объектив и проецируется на светочувствительный элемент. Светочувствительный элемент может быть устройством с зарядовой связью (charge coupled device, CCD) или комплементарным металл-оксид-полупроводниковым (complementary metal-oxide-semiconductor, CMOS) фототранзистором. Фоточувствительный элемент конвертирует оптический сигнал в электрический сигнал, а затем передает электрический сигнал в ISP для конвертирования электрического сигнала в цифровой сигнал изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP конвертирует цифровой сигнал изображения в сигнал изображения в стандартных форматах RGB и YUV. В некоторых вариантах осуществления электронное устройство 100 может включать в себя одну или N камер 193, где N - положительное целое число, большее 1.

[0091] В вариантах осуществления этой заявки, когда целевая игра запускается на мобильном телефоне, камера 193 может вызываться для захвата изображения пользователя, так что процессор 110 анализирует захваченное изображение, чтобы определить считывание движения пользователя.

[0092] Процессор цифровых сигналов сконфигурирован для обработки цифрового сигнала, и в дополнение к цифровому сигналу изображения процессор цифровых сигналов может дополнительно обрабатывать другой цифровой сигнал. Например, когда электронное устройство 100 выполняет выбор частоты, процессор цифровых сигналов сконфигурирован для выполнения преобразования Фурье и т.п. в отношении частотной энергии.

[0093] Видеокодек сконфигурирован для сжатия или распаковки цифрового видео. Электронное устройство 100 может поддерживать один или несколько видеокодеков. Таким образом, электронное устройство 100 может воспроизводить или записывать видео во множестве форматов кодирования, например, экспертной группе по движущимся изображениям (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3 и MPEG 4.

[0094] NPU представляет собой вычислительный процессор нейронной сети (neural-network, NN), который быстро обрабатывает входную информацию с использованием структуры биологической нейронной сети, такой как режим передачи между нервными клетками человеческого мозга, и может дополнительно постоянно выполнять самообучение. NPU может использоваться для реализации приложения, такого как интеллектуальное распознавание электронного устройства 100, например, распознавание изображений, распознавание лиц, распознавание голоса и понимание текста.

[0095] В некоторых вариантах осуществления этой заявки NPU может анализировать изображение, захваченное камерой 193, и может определять портрет на изображении, используя, например, технологию распознавания портрета. Впоследствии положения суставов, таких как локтевые суставы, запястные суставы и коленные суставы, на портрете определяются с помощью технологии распознавания костей (процесс оценки положений точек суставов человеческого тела на изображении или видео с использованием технологии компьютерного зрения), и позиционированные точки суставов, наконец, могут формировать изображение костей человеческого тела, которое может отражать информацию о текущей позе (то есть считывания движения) человеческого тела и т.п.

[0096] Интерфейс 120 внешней памяти может быть сконфигурирован для подключения к внешней карте памяти, такой как карта micro SD, для расширения возможностей хранения электронного устройства 100. Внешняя карта памяти взаимодействует с процессором 110 с помощью интерфейса 120 внешней памяти, чтобы реализовать функцию хранения данных, такую как сохранение файла, такого как музыка или видео, на внешней карте памяти.

[0097] Внутренняя память 121 может быть сконфигурирована для хранения исполняемого на компьютере программного кода, и исполняемый программный код включает в себя инструкцию. Внутренняя память 121 может включать в себя область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, приложение, требуемое по меньшей мере одной функцией (например, функцией воспроизведения голоса или функцией воспроизведения изображения) и т.п. В области хранения данных могут храниться данные (например, аудиоданные и адресная книга) и т.п., созданные при использовании электронного устройства 100. Кроме того, внутренняя память 121 может включать в себя быстродействующую оперативную память или может включать в себя энергонезависимую память, такую как по меньшей мере одна память на магнитном диске, флэш-память или универсальное флэш-хранилище (universal flash storage, UFS). Процессор 110 выполняет инструкции, хранящиеся во внутренней памяти 121, и/или инструкции, хранящиеся в памяти, расположенной в процессоре, для выполнения различных функциональных приложений и обработки данных электронного устройства 100.

[0098] Электронное устройство 100 может реализовать аудиофункцию, например воспроизведение и запись музыки, с помощью аудиомодуля 170, динамика 170А, телефонной трубки 170В, микрофона 170С, разъема 170D для гарнитуры, процессора приложений и т.п.

[0099] Аудиомодуль 170 сконфигурирован для конвертирования цифровой аудиоинформации в аналоговый выходной аудиосигнал и дополнительно сконфигурирован для конвертирования аналогового аудиовхода в цифровой аудиосигнал. Аудиомодуль 170 может быть дополнительно сконфигурирован для кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть расположен в процессоре 110, или некоторые функциональные модули аудиомодуля 170 могут быть расположены в процессоре 110.

[00100] Динамик 170А, также называемый «динамиком», сконфигурирован для конвертирования электрического аудиосигнала в звуковой сигнал. Музыку можно слушать или отвечать на вызов в режиме громкой связи с помощью динамика 170А в электронном устройстве 100.

[00101] Телефонная трубка 170В, также называемая «приемником», сконфигурирована для конвертирования электрического аудиосигнала в звуковой сигнал. Когда электронное устройство 100 используется для ответа на вызов или приема голосовой информации, телефонная трубка 170В может быть поднесена близко к человеческому уху для приема голосовой информации.

[00102] Микрофон 170С, также называемый «микрофоном» или «микрофоном», сконфигурирован для конвертирования звукового сигнала в электрический сигнал. При совершении вызова или отправке голосовой информации пользователь может говорить, приблизив рот к микрофону 170С, чтобы ввести звуковой сигнал в микрофон 170С. По меньшей мере один микрофон 170С может быть расположен в электронном устройстве 100. В некоторых других вариантах осуществления в электронном устройстве 100 могут быть расположены два микрофона 170С для захвата звукового сигнала и реализации функции шумоподавления. В некоторых других вариантах осуществления в электронном устройстве 100 альтернативно могут быть расположены три, четыре или более микрофонов 170С для захвата звукового сигнала, реализации шумоподавления, распознавания источника звука, реализации функции направленной записи и т.п.

[00103] Разъем 170D для гарнитуры сконфигурирован для подключения к проводной гарнитуре. Разъем 170D для гарнитуры может быть USB-интерфейсом 130 или может быть 3,5-мм интерфейсом открытой платформы мобильных терминалов (open mobile terminal platform, OMTP) или стандартным интерфейсом ассоциации индустрии сотовой связи США (cellular telecommunications industry association of the USA, CTIA).

[00104] Датчик 180А давления выполнен с возможностью считывать сигнал давления и может преобразовывать сигнал давления в электрический сигнал. В некоторых вариантах реализации датчик 180А давления может быть расположен на экране 194 отображения. Существует множество типов датчиков 180А давления, например, резистивный датчик давления, индуктивный датчик давления и емкостный датчик давления. Емкостной датчик давления может включать по меньшей мере две параллельные пластины с проводящими материалами. Когда к датчику 180А давления прикладывается сила, емкость между электродами изменяется. Электронное устройство 100 определяет силу давления на основе изменения емкости. Когда операция касания выполняется на экране 194 отображения, электронное устройство 100 обнаруживает силу операции касания с помощью датчика 180А давления. Электронное устройство 100 может дополнительно вычислять положение касания на основе сигнала обнаружения датчика 180А давления. В некоторых вариантах осуществления операции касания, которые выполняются в одном и том же положении касания, но имеют разную силу операции касания, могут соответствовать разным инструкциям операции. Например, когда операция касания, сила операции касания которой меньше первого порогового значения давления, выполняется на значке приложения для коротких сообщений, выполняется инструкция проверки короткого сообщения. Когда на значке приложения коротких сообщений выполняется операция касания, сила операции касания которой больше или равна первому пороговому значению давления, выполняется инструкция создания нового короткого сообщения.

[00105] Датчик 180B гироскопа может быть сконфигурирован для определения положения движения электронного устройства 100. В некоторых вариантах осуществления угловая скорость электронного устройства 100 вокруг трех осей (а именно, осей x, y и z) может быть определена с использованием датчика 180B гироскопа. Датчик 180B гироскопа может использоваться для стабилизации изображения во время фотографирования. Например, когда нажимается затвор, датчик 180В гироскопа обнаруживает угол, под которым электронное устройство 100 дрожит, и вычисляет на основе угла расстояние, которое модуль объектива должен компенсировать, и позволяет объективу отменить дрожание электронного устройства 100 за счет обратного движения, тем самым реализуя стабилизацию изображения. Датчик 180B гироскопа также может использоваться в навигации и в сценарии игры считывания движения.

[00106] Датчик 180С барометрического давления сконфигурирован для измерения барометрического давления. В некоторых вариантах осуществления электронное устройство 100 вычисляет высоту, используя значение барометрического давления, измеренное датчиком 180C барометрического давления, для помощи в позиционировании и навигации.

[00107] Магнитный датчик 180D включает в себя датчик на эффекте Холла. Электронное устройство 100 может обнаруживать открытое или закрытое состояние откидного кожаного футляра с помощью магнитного датчика 180D. В некоторых вариантах осуществления, когда электронное устройство 100 представляет собой телефон-раскладушку, электронное устройство 100 может обнаруживать состояние открытия или состояние закрытия откидной крышки на основе магнитного датчика 180D. Кроме того, на основе обнаруженного состояния открытия или закрытия кожаного футляра или обнаруженного состояния открытия или закрытия откидной крышки настраивается такая функция, как автоматическая разблокировка откидной крышки.

[00108] Датчик 180E ускорения может обнаруживать значение ускорения электронного устройства 100 во всех направлениях (обычно по трем осям). Когда электронное устройство 100 неподвижно, могут быть обнаружены величина и направление силы тяжести. Датчик ускорения может быть дополнительно сконфигурирован для распознавания положения электронного устройства и применяться для переключения между альбомной ориентацией и портретной ориентацией, шагомера или другого приложения.

[00109] Датчик 180F расстояния сконфигурирован для измерения расстояния. Электронное устройство 100 может измерять расстояние с помощью инфракрасного или лазерного излучения. В некоторых вариантах осуществления в сценарии фотографирования электронное устройство 100 может измерять расстояние с помощью датчика 180F расстояния для осуществления быстрой фокусировки.

[00110] Оптический датчик 180G приближения может включать в себя, например, светоизлучающий диод (LED) и оптический детектор, такой как фотодиод. Светоизлучающий диод может быть инфракрасным светоизлучающим диодом. Электронное устройство 100 может излучать инфракрасный свет с помощью светоизлучающего диода. Электронное устройство 100 обнаруживает отраженный инфракрасный свет от близлежащего объекта с помощью фотодиода. При обнаружении достаточного количества отраженного света электронное устройство 100 может определить, что рядом с электронным устройством 100 находится объект. При обнаружении недостаточно отраженного света электронное устройство 100 может определить, что вблизи электронного устройства 100 нет объекта. Электронное устройство 100 может обнаруживать с помощью оптического датчика 180G приближения, что пользователь держит электронное устройство 100 близко к уху во время вызова, так что для экономии энергии реализуется автоматическое отключение экрана. В качестве альтернативы оптический датчик приближения 180G можно использовать в режиме кожаного футляра или карманном режиме для автоматической разблокировки или блокировки экрана.

[00111] Датчик 180L внешней освещенности сконфигурирован для считывания яркости окружающего света. Электронное устройство 100 может адаптивно регулировать яркость экрана 194 отображения в соответствии со считываемой яркостью окружающего света. Датчик 180L внешней освещенности может быть дополнительно сконфигурирован для автоматической регулировки баланса белого во время фотосъемки. Датчик 180L внешнего освещения может дополнительно взаимодействовать с оптическим датчиком приближения 180G для обнаружения, находится ли электронное устройство 100 в кармане, чтобы предотвратить случайное касание.

[00112] Датчик 180H отпечатков пальцев сконфигурирован для захвата отпечатков пальцев. Электронное устройство 100 может реализовать разблокировку по отпечатку пальца, доступ к блокировке приложения, фотографирование по отпечатку пальца, ответ на вызов на основе отпечатка пальца и т.п. с использованием признака захваченного отпечатка пальца.

[00113] Датчик 180J температуры сконфигурирован для обнаружения температуры. В некоторых вариантах осуществления электронное устройство 100 выполняет политику обработки температуры, используя температуру, обнаруженную датчиком 180J температуры. Например, когда температура, сообщаемая датчиком 180J температуры, превышает пороговое значение, электронное устройство 100 снижает производительность процессора рядом с датчиком 180J температуры, чтобы уменьшить энергопотребление и реализовать защиту от перегрева. В некоторых других вариантах осуществления, когда температура ниже другого порогового значения, электронное устройство 100 нагревает батарею 142, чтобы предотвратить аварийное отключение электронного устройства 100 из-за низкой температуры. В некоторых других вариантах осуществления, когда температура ниже еще одного порогового значения, электронное устройство 100 повышает выходное напряжение батареи 142, чтобы предотвратить ненормальное отключение, вызванное низкой температурой.

[00114] Датчик 180К касания также упоминается как «устройство касания». Датчик 180K касания может быть расположен на экране 194 отображения. Датчик 180К касания и экран 194 отображения образуют экран касания. Датчик 180K касания сконфигурирован для обнаружения операции касания, выполняемой на датчике касания или рядом с ним. Датчик касания может передавать обнаруженную операцию касания процессору приложений для определения типа события касания. Датчик 180K касания может обеспечивать визуальный вывод, относящийся к операции касания, с использованием экрана 194 отображения. В некоторых других вариантах датчик 180K касания может быть альтернативно расположен на поверхности электронного устройства 100 и расположен в положении, отличном от положения экрана 194 отображения.

[00115] Датчик 180M костной проводимости может получать сигнал вибрации. В некоторых вариантах осуществления датчик 180M костной проводимости может получать вибрационный сигнал вибрации кости голосовой связки человека. В качестве альтернативы датчик 180M костной проводимости может контактировать с человеческим пульсом и принимать сигнал пульсации кровяного давления. В некоторых вариантах осуществления датчик 180M костной проводимости может быть альтернативно расположен в гарнитуре для формирования гарнитуры костной проводимости. Аудиомодуль 170 может получать голосовой сигнал посредством синтаксического анализа на основе сигнала вибрации, который исходит от вибрационной кости части голосовой связки и получен датчиком 180M костной проводимости, для реализации голосовой функции. Процессор приложений может анализировать информацию о частоте сердечных сокращений на основе сигнала пульса артериального давления, полученного датчиком 180M костной проводимости, для реализации функции обнаружения частоты сердечных сокращений.

[00116] Клавиша 190 включает в себя клавишу питания, клавишу регулировки громкости и т.п. Клавиша 190 может быть механической клавишей или клавишей касания. Электронное устройство 100 может принимать клавишный ввод и генерировать вводимый сигнал клавиши, связанный с настройкой пользователя и управлением функциями электронного устройства 100.

[00117] Мотор 191 может генерировать вибрационную подсказку. Мотор 191 может быть сконфигурирован для обеспечения вибрационной подсказки для входящего вызова и может быть дополнительно сконфигурирован для обеспечения обратной связи с вибрацией касания. Например, операции касания, выполняемые в разных приложениях (например, фотосъемка и воспроизведение аудио), могут соответствовать разным эффектам вибрационной обратной связи. Для операций касания, выполняемых в разных областях экрана 194 отображения, мотор 191 также может соответствовать различным эффектам вибрационной обратной связи. Различные сценарии применения (например, подсказка времени, получение информации, будильник, игра) также могут соответствовать разным эффектам вибрационной обратной связи. Эффект обратной связи с вибрацией касания может быть дополнительно настроен.

[00118] Индикатор 192 может быть световым индикатором, может быть сконфигурирован для индикации состояния зарядки и замены аккумулятора, а также может быть сконфигурирован для индикации сообщения, пропущенного вызова, уведомления и т.п.

[00119] Интерфейс 195 SIM-карты выполнен с возможностью подключения к SIM-карте. SIM-карта может быть вставлена в интерфейс 195 SIM-карты или отсоединена от интерфейса 195 SIM-карты, чтобы контактировать ил быть отсоединенной от электронного устройства 100. Электронное устройство 100 может поддерживать один или N интерфейсов SIM-карты, где N является положительным целым числом, большим 1. Интерфейс 195 SIM-карты может поддерживать нано-SIM-карту, микро-SIM-карту, SIM-карту и т.п. Множество карт может быть вставлено в один и тот же интерфейс 195 SIM-карты. Множество карт может быть одного типа или разных типов. Интерфейс 195 SIM-карты может быть дополнительно совместим с различными типами SIM-карт. Интерфейс 195 SIM-карты также может быть совместим с внешней картой памяти. Электронное устройство 100 взаимодействует с сетью с помощью SIM-карты для реализации таких функций, как вызов и передача данных. В некоторых вариантах осуществления электронное устройство 100 использует eSIM, то есть встроенную SIM-карту. Карта eSIM может быть встроена в электронное устройство 100 и не может быть отделена от электронного устройства 100.

[00120] Программная система электронного устройства 100 может использовать многоуровневую архитектуру, архитектуру, управляемую событиями, архитектуру микроядра, архитектуру микросервиса или облачную архитектуру. В этом варианте осуществления настоящего изобретения система Android с многоуровневой архитектурой используется в качестве примера для иллюстрации структуры программного обеспечения электронного устройства 100.

[00121] Фиг. 2 представляет собой блок-схему структуры программного обеспечения электронного устройства 100 согласно варианту осуществления настоящего изобретения.

[00122] В многоуровневой архитектуре программное обеспечение разделено на несколько уровней, и у каждого уровня есть четкая роль и задача. Уровни взаимодействуют друг с другом через программный интерфейс. В некоторых вариантах осуществления система Android разделена на четыре уровня, которые соответственно являются уровнем приложения, уровнем прикладной инфраструктуры, средой выполнения Android (Android runtime) и системной библиотекой, а также уровнем ядра сверху вниз.

[00123] Уровень приложений может включать в себя ряд пакетов приложений.

[00124] Как показано на фиг. 2, пакеты приложений могут включать такие приложения, как камера, галерея, календарь, телефон, карта, навигация, WLAN, Bluetooth, музыка, видео и короткие сообщения.

[00125] В некоторых вариантах осуществления этой заявки пакеты приложений дополнительно включают в себя игровые приложения, такие как паркурные игры, игры музыкального типа и игры танцевального типа. Следует отметить, что описанное здесь игровое приложение может не поддерживать игровой процесс со считыванием движения.

[00126] Пакеты приложений могут дополнительно включать в себя первое приложение, такое как игровой помощник или помощник приложения. Пользователь может выбрать, используя интерфейс, обеспечиваемый первым приложением, игровое приложение, такое как Subway Parkour, для воспроизведения с игровым процессом со считыванием движения, чтобы активировать функцию игрового процесса со считыванием движения и т.п.

[00127] Уровень прикладной инфраструктуры предоставляет интерфейс прикладного программирования (application programming interface, API) и инфраструктуру программирования для приложений на прикладном уровне. Уровень прикладной инфраструктуры включает в себя некоторые предопределенные функции.

[00128] Как показано на фиг. 2, уровень прикладной инфраструктуры может включать в себя диспетчер окон, поставщик контента, систему просмотра, диспетчер телефона, диспетчер ресурсов, диспетчер уведомлений и т.п.

[00129] Диспетчер окон сконфигурирован для управления оконным приложением. Диспетчер окон может получить размер экрана отображения, определить, имеется ли строка состояния, заблокировать экран, захватить экран и т.п.

[00130] Поставщик контента сконфигурирован для хранения и получения данных, чтобы приложение могло получить к ним данным. Данные могут включать в себя видео, изображение, аудио, сделанные вызовы и ответы на них, историю просмотров и закладки, адресную книгу и т.п.

[00131] Система просмотра включает в себя визуальный элемент управления, такой как элемент управления для отображения текста или элемент управления для отображения изображения. Система просмотра может быть сконфигурирована для построения приложения. Интерфейс дисплея может быть сформирован одним или несколькими представлениями. Например, интерфейс дисплея, включающий в себя значок уведомления о коротком сообщении, может включать в себя представление для отображения текста и представление для отображения изображения.

[00132] Диспетчер телефона сконфигурирован для обеспечения функции связи электронного устройства 100, например, управления состоянием вызова (включая дозвон, отбой и т.п.).

[00133] Диспетчер ресурсов предоставляет различные ресурсы для приложения, например, локализованную строку символов, значок, изображение, файл макета и видеофайл.

[00134] Диспетчер уведомлений позволяет приложению отображать информацию уведомлений в строке состояния. Информация уведомлений может быть сообщением, используемым для указания типа уведомления, и может автоматически исчезать после короткого пребывания без взаимодействия с пользователем. Например, диспетчер уведомлений сконфигурирован для уведомления о завершении загрузки, подсказке сообщения и т.п. В качестве альтернативы диспетчер уведомлений может быть уведомлением, которое появляется в верхней строке состояния системы в виде графика или текста полосы прокрутки, например, уведомлением о приложении, работающем в фоновом режиме, или может быть уведомлением, которое появляется на экране в виде диалогового окна. Например, в строке состояния подсказывается текстовая информация, подсказывается звуковой сигнал, электронное устройство вибрирует или мигает световой индикатор.

[00135] В некоторых вариантах осуществления этой заявки уровень прикладной инфраструктуры дополнительно включает в себя механизм дополненной реальности, уровень распознавания позы и уровень сопоставления игры. Уровень механизма дополненной реальности сконфигурирован для анализа изображения пользователя, захваченного камерой, в том числе выполнение распознавания точек костей на изображении пользователя, конвертирование изображения пользователя в координаты движения костей, объединенные точками и линиями, и т.п.

[00136] Уровень распознавания позы сконфигурирован для распознавания конвертированных координат движения костей и определение считываний движения, таких как наклон тела влево/вправо/наклон вперед/назад, подпрыгивание, приседание, поднятие левой руки вверх/вниз/влево/вперед/назад, подъем левой руки вверх/вниз/влево//вперед/назад, подъем левой ноги вперед/влево и подъем правой ноги вперед/вправо от пользователя.

[00137] Уровень сопоставления игры сконфигурирован для выполнения сопоставления предопределенного считывания движения и операции касания игрового приложения. Когда пользователь играет в игру и после обнаружения считывания движения пользователя, если считывание движения является предопределенным считыванием движения, определяется операция касания в игровом приложении, соответствующая предопределенному считыванию движения, и инструкция соответствующей операции касания отправляется игровому приложению, так что игровое приложение может выполнять ответ, соответствующий операции касания, то есть достигать эффекта управления игровым приложением посредством использования считывания движения.

[00138] Среда выполнения Android включает в себя библиотеку ядра и виртуальную машину. Среда выполнения Android отвечает за планирование и администрирование системы Android.

[00139] Библиотека ядра включает в себя две части: одна часть - это функция производительности, которую должен вызывать язык Java, а другая часть - это библиотека ядра Android.

[00140] Уровень приложений и уровень прикладной инфраструктуры выполняются на виртуальной машине. Виртуальная машина выполняет файлы Java уровня приложений и уровня прикладной инфраструктуры как двоичные файлы. Виртуальная машина используется для выполнения таких функций, как администрирование жизненного цикла объектов, администрирование стека, администрирование потоков, администрирование безопасности и исключений, а также сборка мусора.

[00141] Системная библиотека может включать в себя множество функциональных модулей, например, диспетчер поверхностей (surface manager), библиотеку мультимедиа (Media Libraries), библиотеку обработки трехмерной графики (например, OpenGL ES) и механизм 2D-графики (например, SGL).

[00142] Диспетчер поверхностей сконфигурирован для администрирования подсистемы отображения и объединения двухмерных и трехмерных уровней множества приложений.

[00143] Медиа библиотека поддерживает воспроизведение и запись во множестве распространенных аудио- и видеоформатов, а также поддерживает файлы статических изображений и т.п. Медиа библиотека может поддерживать множество форматов кодирования аудио и видео, например, MPEG4, H.264, MP3, AAC, AMR, JPG и PNG.

[00144] Библиотека обработки трехмерной графики используется для реализации рисования трехмерной графики, рендеринга изображения, композиции, обработки слоев и т.п.

[00145] Механизм 2D-графики - это механизм рисования для 2D-чертежей.

[00146] Уровень ядра - это уровень между аппаратным и программным обеспечением. Уровень ядра включает в себя, по меньшей мере, драйвер дисплея, драйвер камеры, аудиодрайвер и драйвер датчика.

[00147] В некоторых вариантах осуществления этой заявки первое приложение может с помощью драйвера камеры вызывать камеру на аппаратном уровне для захвата изображения пользователя во время игры, так что механизм дополненной реальности и уровень распознавания позы уровня прикладной инфраструктуры анализируют захваченное изображение пользователя и определяют считывание движения, выполняемое пользователем, и т.п. Когда механизм дополненной реальности анализирует захваченное изображение пользователя, а уровень распознавания позы выполняет распознавание позы, также может быть вызван чип обработки AI на аппаратном уровне. Например, NPU выполняет обработку данных, такую как распознавание точек костей или распознавание позы.

[00148] Все технические решения, включенные в следующие варианты осуществления, могут быть реализованы в электронном устройстве 100, имеющем вышеуказанную аппаратную архитектуру и программную архитектуру. Далее подробно описывается техническое решение, предусмотренное в вариантах осуществления этой заявки, на примере, в котором электронное устройство 100 представляет собой мобильный телефон.

[00149] В настоящее время пользователь может удобно устанавливать на мобильный телефон различные игровые приложения, такие как паркур-игры (например, Subway Parkour) и игры музыкального типа (например, Dance Mission). Чтобы еще больше повысить уровень удовольствия от игры, вариант осуществления этой заявки обеспечивает способ, позволяющий обычной игре (которая относится к игре, которая изначально не поддерживает игровой процесс со считыванием движения) на мобильном телефоне поддерживать игровой процесс со считыванием движения, так что пользователь может управлять игрой, используя считывание движения, для достижения интегрированного эффекта развлечения и фитнеса, тем самым отвечая разнообразным требованиям пользователя.

[00150] В некоторых вариантах осуществления этой заявки во время запуска целевой игры запускается первое приложение, такое как игровой помощник, и первое приложение вызывает камеру мобильного телефона с помощью драйвера камеры на уровне ядра для захвата изображения пользователя. Затем мобильный телефон анализирует захваченное изображение пользователя и распознает считывание движения, выполняемое пользователем. Если считывание движения, выполняемое пользователем, является предопределенным считыванием движения, в целевую игру отправляется инструкция операции касания целевой игры, соответствующей предопределенному считыванию движения, чтобы целевая игра могла выполнить соответствующий ответ, чтобы позволить целевой игре, изначально не поддерживающей игровой процесс со считыванием движения, также отвечать на считывание движения, выполняемое пользователем. Таким образом, собственный код целевой игры может не быть модифицирован, то есть целевая игра может поддерживать игровой процесс со считыванием движения.

[000151] Другими словами, функция, в которой целевая игра поддерживает игровой процесс со считыванием движения, может быть реализована с использованием другого приложения (например, первого приложения) или системной функции мобильного телефона без изменения целевой игры. Можно видеть, что способ запуска игры, предусмотренный в этом варианте осуществления, применим к играм, поддерживающим операцию касания, то есть версию поддержки игрового процесса со считыванием движения не нужно разрабатывать отдельно для каждого первого приложения, что выгодно для снижение затрат на разработку.

[00152] Можно понять, что в дополнение к игровому приложению способ, предусмотренный в этом варианте осуществления этой заявки, также применим к другому приложению, установленному на мобильном телефоне, которое может поддерживать операцию касания для управления. Далее подробно описывается технический способ, предусмотренный в вариантах осуществления этой заявки, с использованием игрового приложения в качестве примера.

[00153] Ссылаясь на фиг. 3А - фиг. 3С, фиг. 4А - фиг. 4С и фиг. 5А - фиг. 5I, описания сделаны ниже со ссылкой на схематические изображения графических пользовательских интерфейсов.

[00154] Во-первых, мобильный телефон активирует функцию игрового процесса со считыванием движения целевой игры.

[00155] В некоторых вариантах осуществления пользователь может активировать функцию игрового процесса со считыванием движения целевой игры с помощью первого приложения (например, игрового помощника или помощника приложения).

[00156] Например, интерфейс 300, показанный на фиг. 3А представляет собой схематическое изображение рабочего стола мобильного телефона. Интерфейс 300 может включать в себя строку состояния, одну или несколько значков приложений, таких как значок 301 игрового помощника и значок 302 целевой игры (например, Subway Parkour), и док-бар (панель инструментов). Строка состояния может включать в себя имя оператора, время, состояние уровня заряда батареи, состояние сетевого подключения и т.п. Панель инструментов может включать в себя множество значков ярлыков приложений.

[00157] Когда пользователь хочет играть в игру, используя игровой процесс со считыванием движения, пользователь может войти в интерфейс игрового помощника, постукивая значок 301 игрового помощника, и активировать функцию игрового процесса со считыванием движения целевой игры. Например, как показано на фиг. 3B, целевая игра, такая как Subway Parkour, в которой должен быть активирован игровой процесс со считыванием движения, выбирается в интерфейсе 303 игрового помощника. Затем постукивают элемент 305 управления функциями игрового процесса со считыванием движения, чтобы активировать функцию игрового процесса со считыванием движения Subway Parkour (Паркур в метро). В этом случае в интерфейсе 307, показанном на фиг. 3C, функции ускорения игры, «не беспокоить» и игровой процесс со считыванием движения активированы в Subway Parkour. Для функций ускорения игры и «не беспокоить» можно сделать ссылку на предшествующий уровень техники, и подробности здесь повторно не описываются. Далее подробно описывается функция игрового процесса со считыванием движения и конкретная реализация функции игрового процесса со считыванием движения.

[00158] Если в игровом помощнике нет целевой игры, целевая игра может быть альтернативно добавлена в игровой помощник с помощью элемента управления 306 добавления в интерфейсе 303 игрового помощника, после чего активируется игровой процесс со считыванием движения целевой игры.

[00159] В некоторых других вариантах осуществления пользователь может активировать функцию игрового процесса со считыванием движения посредством настройки системы. Функция игрового процесса со считыванием движения может быть независимой функцией в настройке системы или может быть подфункцией игрового помощника и т.п. Это не ограничено в этом варианте осуществления настоящей заявки.

[00160] Например, интерфейс 400 настройки, показанный на фиг. 4A является примером интерфейса настройки системы мобильного телефона. Интерфейс 400 настройки включает в себя функциональный элемент 401 игрового процесса со считыванием движения. В ответ на это пользователь постукивает функциональный элемент 401 игрового процесса со считыванием движения, мобильный телефон отображает интерфейс 402, показанный на фиг. 4B. Как показано на фиг. 4C, в ответ на то, что пользователь постукивает элемент управления 403 добавлением, на мобильном телефоне всплывает окно 404 выбора, и пользователь может добавить, используя окно 404 выбора, игру, в которой требуется активация функции игрового процесса со считыванием движения.

[00161] В еще некоторых вариантах осуществления во время выполнения целевой игры пользователь может альтернативно активировать функцию игрового процесса со считыванием движения целевой игры посредством ввода речевой команды или выполнения предопределенного жеста, такого как скольжение трех пальцев вниз, или другим способом. Другими словами, способ, которым мобильный телефон активирует игровой процесс со считыванием движения, конкретно не ограничен в этой заявке.

[00162] После активации игрового процесса со считыванием движения целевой игры необходимо дополнительно предварительно определить некоторые считывания движения, и настроить соответствие между предопределенными считываниями движения и операциями касания в целевой игре.

[00163] Операции касания относятся к таким операциям, как постукивание, двойное постукивание, касание и удержание, скольжение и рисование конкретного шаблона, которые разрешено выполнять пользователю в целевой игре через экран касания.

[00164] В частности, пользователь может открыть целевую игру, используя значок целевой игры на рабочем столе мобильного телефона, или может открыть целевую игру, используя некоторые другие ярлыки.

[00165] Например, в ответ на то, что пользователь постукивает значок 501 целевой игры (например, Subway Parkour) на рабочем столе мобильного телефона, показанном на фиг. 5A мобильный телефон начинает целевую игру и отображает исходный интерфейс целевой игры, показанный на фиг. 5B. В ответ на то, что пользователь постукивает элемент управления 502 «постукивать, чтобы начать игру» на исходном интерфейсе целевой игры, целевая игра запускается на мобильном телефоне, то есть отображается интерфейс, показанный на фиг. 5С.

[00166] В некоторых вариантах осуществления, как показано на фиг. 5D, после того, как мобильный телефон начнет игру, диалоговое окно 503 игрового помощника может всплыть автоматически или может всплыть в ответ на операцию (например, выполняется предопределенный жест или вводится речевая инструкция для оперирования конкретным элементом управления) пользователя на мобильном телефоне. Пользователь может настроить соответствующие функции игрового помощника с помощью диалогового окна 503. Например, настроены ускорение игры, режим «Не беспокоить», надежное касание клавиш и игровой процесс со считыванием движения. В некоторых других вариантах осуществления альтернативно после того, как мобильный телефон входит в целевую игру, но не начинает игру, диалоговое окно 503 игрового помощника может автоматически всплывать или может всплывать в ответ на операцию пользователя на мобильном телефоне.

[00167] Диалоговое окно 503 может отображаться в игровом интерфейсе частично прозрачным или непрозрачным образом. То есть диалоговое окно 503 может блокировать часть игрового интерфейса. В качестве альтернативы диалоговое окно 503 может отображаться способом, который не блокирует игровой интерфейс. Например, диалоговое окно отображается слева, справа, вверху или внизу игрового интерфейса. Диалоговое окно 503 и игровой интерфейс отображаются на экране, не блокируя друг друга. Следует отметить, что момент отображения, способ отображения, положение отображения и т.п. диалогового окна 503 конкретно не ограничены в этом варианте осуществления этой заявки.

[00168] В конкретной реализации, после обнаружения того, что пользователь начинает целевое игровое приложение (или обнаружения того, что на мобильном телефоне отображается конкретный интерфейс целевого игрового приложения), мобильный телефон может добавить уровень игрового помощника к игровому интерфейсу целевого игрового приложения с помощью диспетчера окон уровня инфраструктуры приложений или другой системной службы. Уровень игрового помощника расположен на уровне игрового интерфейса целевого игрового приложения и включает в себя диалоговое окно 503 игрового помощника, причем в дополнение к диалоговому окну 503 другие области уровня являются прозрачными. Таким образом, пользователь может видеть игровой интерфейс целевого игрового приложения и диалоговое окно 503 одновременно, и пользователь может управлять элементом управления в диалоговом окне 503. Можно видеть, что в этой реализации мобильный телефон добавляет интерфейс настройки для предопределенного считывания движения в целевое игровое приложение без модификации исходного целевого игрового приложения.

[00169] В другой конкретной реализации, после обнаружения того, что пользователь запускает целевое игровое приложение, или обнаружения того, что на мобильном телефоне отображается конкретный интерфейс целевого игрового приложения), мобильный телефон может альтернативно регулировать размер и положение игрового интерфейса целевого игрового приложения с помощью диспетчера окон уровня прикладной инфраструктуры или другой системной службы. Например, игровой интерфейс целевого игрового приложения уменьшен, чтобы оставить область отображения конкретного размера слева от мобильного телефона. Кроме того, в области отображения отображается интерфейс настройки, предлагающий пользователю настроить предопределенное считывание движения. Можно видеть, что в этой реализации мобильный телефон добавляет интерфейс настройки для предопределенного считывания движения в целевое игровое приложение без модификации исходного целевого игрового приложения.

[00170] Затем, в ответ на операцию постукивания пользователем по элементу управления 504 настройки, соответствующего функции игрового процесса со считыванием движения, показанного на фиг. 5D мобильный телефон отображает интерфейс 505, показанный на фиг. 5E, и конкретный элемент 506 настройки для функции игрового процесса со считыванием движения отображается на интерфейсе 505. Например, пользователь может выбрать предопределенное считывание движения с помощью следующего меню и настроить соответствующую операцию касания для выбранного предопределенного считывания движения.

[00171] Кроме того, при выборе предопределенного считывания движения пользователь может в качестве альтернативы выбрать изображение, включающее в себя предопределенное считывание движения. Следовательно, мобильный телефон распознает изображение, выбранное пользователем, и настраивает распознанное считывание движения в качестве предопределенного считывания движения, то есть устанавливает некоторые предопределенные считывания движения. Изображение, включающее в себя предопределенное считывание движения, может быть картинкой в альбоме мобильного телефона, или может быть картинкой, загруженной мобильным телефоном из Интернета, или может быть картинкой, включая портрет, снятой камерой, которая в данный момент вызывается мобильным телефоном. Способ для мобильного телефона для распознавания предопределенного считывания движения в изображении подробно описан ниже, и подробности здесь повторно не описываются.

[00172] Таблица 1 является примером соответствия между набором предопределенных считываний движения и операциями касания в целевой игре.

Таблица 1

Предопределенные считывания движения Операции касания в целевой игре Наклон тела влево Скольжение влево по экрану Наклон тела вправо Скольжение вправо по экрану Приседание Скольжение вниз по экрану Прыжки вверх Скольжение вверх по экрану Непрерывно прыгать дважды Двойное постукивание по экрану ... ...

[00173] Следует отметить, что в этой заявке, когда мобильный телефон обнаруживает, что считывание движения пользователя является предопределенным считыванием движения, мобильный телефон должен отправить инструкцию операции касания, соответствующую предопределенному считыванию движения, целевой игре, так что целевая игра выполняет ответ, соответствующий операции касания. В дополнение к включению типов операций касания (например, постукивание, двойное постукивание, скольжение и касание и удержание), инструкция операции касания должна дополнительно включать в себя конкретную позицию (или координаты), в которой операция касания выполняется на экране, то есть там, где операция касания выполняется на экране.

[00174] В некоторых примерах мобильный телефон может настроить одно или несколько положений экрана по умолчанию для операций касания, соответствующих предопределенным считываниям движения. То есть пользователь может не настраивать специально положение экрана для операции касания, соответствующей предопределенному считывания движения. Например, в игре Subway Parkour пользователь может скользить влево/вправо/вверх/вниз в любой точке экрана, а игровой персонаж идет влево/идет вправо/прыгает вверх/приседает вниз. Таким образом, если настроены считывание движения и операция касания, например, наклон тела влево, соответствующий скольжению влево, впоследствии, после проверки считывания движения наклона тела пользователя влево, мобильный телефон может отправить инструкцию скольжения влево, то есть отправить координаты по умолчанию (например, координаты центра экрана или координаты любого положения внизу экрана) и действие скольжения влево в игру Subway Parkour. После приема инструкции, игра Subway Parkour считает, что операция скольжения влево принята в положении координат по умолчанию, и выполняет ответ, соответствующий операции, то есть игровой персонаж идет влево.

[00175] В некоторых других примерах, учитывая, что операция касания должна выполняться в конкретной области экрана, целевая игра может отвечать, когда мобильный телефон настраивает соответствие между предопределенными считываниями движения и операциями касания, пользователю, что он может настраивать положения в которых операции касания выполняются на экране.

[00176] Описание сделано на примере, в котором целевой игрой является Honor of Kings. В игре Honor of Kings, когда пользователь настраивает клавишу атаки в правом нижнем углу и когда пользователь настраивает предопределенное считывание движения, соответствующее клавише атаки, в дополнение к настройке операции касания, соответствующей предопределенному считыванию движения для постукивания, причем пользователю дополнительно необходимо настроить положение, в котором выполняется операция касания, чтобы оно было таким же, как положение исходной клавиши атаки в целевой игре. То есть целевое положение настраивается в области, в которой находится исходный ключ атаки.

[00177] Например, как показано на фиг. 5F, элементы настройки игрового процесса со считыванием движения могут дополнительно включать в себя элемент управления 507 положением. Пользователь может настраивать, используя элемент управления 507 положением, положение, в котором выполняется каждая операция касания, которая настроена для соответствия с предопределенным считыванием движения. В конкретной реализации, в ответ на постукивание пользователем элемента управления 507 положением, соответствующего предопределенному считыванию движения, мобильный телефон предлагает пользователю выбрать на экране положение (или координаты), в котором выполняется в настоящее время настроенная операция касания. Пользователь может постукивать целевое положение (то есть положения, в котором требуется выполнить операцию касания) на экране, и мобильный телефон записывает координаты положения, по которому было постукивание, и настраивает координаты в качестве координат, в которых выполняется операция касания. Конечно, пользователь может выполнять настройку посредством ввода координат или выбора координат. Это не является конкретно ограниченным в этом варианте осуществления этой заявки.

[00178] Таблица 2 - еще один пример соответствия между набором предопределенных считываний движения и операциями касания в целевой игре (например, Subway Parkour).

Таблица 2

Предопределенные считывания движения Операции касания в целевой игре Положение, в котором выполняется соответствующая операция касания (единица измерения: пиксель) Наклон тела влево Скольжение влево по экрану (200, 100) Наклон тела вправо Скольжение вправо по экрану (200, 300) Приседание Скольжение вниз по экрану (100, 200) Прыжки вверх Скольжение вверх по экрану (300, 200) Непрерывно прыгать дважды Двойное постукивание по экрану (200, 400) ... ...

[00179] В другом примере, как показано на фиг. 5G, при настройке предопределенного считывания движения и операции касания мобильный телефон может также отображать некоторые клавиши, такие как клавиша 1 и клавиша 2, в игровом интерфейсе. Во время настройки клавиши могут быть ассоциированы с предопределенными считываниями движения. Например, наклон тела влево (предопределенное считывание движения) ассоциирован с операцией скольжения влево (операция касания) и клавишей 1. Это означает, что считывание движения наклона тела влево эквивалентно тому, что пользователь выполняет операцию касания скольжения влево в положении клавиши 1. То есть, при обнаружении считывания движения наклона тела влево мобильный телефон отправляет положение клавиши 1 и инструкцию скольжения влево целевой игре.

[00180] Конечно, пользователь может изменить положения клавиш, перемещая клавиши. В качестве альтернативы пользователь может изменить количество клавиш, удалив или добавив элемент управления. Можно понять, что клавиши отображаются, когда настроены предопределенные считывания движения, так что пользователь четко запоминает положения, в которых выполняются операции касания, соответствующие предопределенным считываниям движения. После завершения настройки клавиши не отображаются в интерфейсе игры.

[00181] Таблица 3 - еще один пример соответствия между набором предопределенных считываний движения и операциями касания в целевой игре (например, Subway Parkour).

Таблица 3

клавиша 1 Предопределенные считывания движения Операции касания в целевой игре клавиша 2 Наклон тела влево Скольжение влево по экрану клавиша 3 Наклон тела вправо Скольжение вправо по экрану клавиша 4 Приседание Скольжение вниз по экрану клавиша 5 Прыжки вверх Скольжение вверх по экрану клавиша 6 Непрерывно прыгать дважды Двойное постукивание по экрану ... ...

[00182] Положение клавиши 1 на экране мобильного телефона это (200, 100), положение клавиши 2 это (200, 300), положение клавиши 3 это (100, 200), положение клавиши 4 это (300, 200), а положение клавиши 5 это (200, 400). Единица измерения - пиксель.

[00183] Можно понять, что обычно различные игровые приложения также имеют некоторые общие операции касания. Следовательно, мобильный телефон может настроить общие операции касания в соответствии с предопределенным считыванием движения по умолчанию. То есть одна и та же операция касания в разных игровых приложениях соответствует одному и тому же предопределенному считыванию движения.

[00184] В качестве альтернативы, учитывая, что игровые приложения одного и того же типа имеют более похожие операции касания, поэтому соответствие между предопределенными считываниями движения и операциями касания может быть настроено по умолчанию для игровых приложений одного и того же типа. То есть одна и та же операция касания в игровых приложениях одного и того же типа соответствует одному и тому же предопределенному считыванию движения, что помогает уменьшить нагрузку на пользователя, связанную с запоминанием, так что пользователь сохраняет ту же привычку работы, тем самым повышая универсальность предопределенного считывания движения. Кроме того, затраты на настройку предопределенного считывания движения пользователем также могут быть снижены.

[00185] После настройки предопределенного считывания движения конкретный элемент настройки функции игрового процесса со считыванием движения может быть закрыт с помощью элемента управления 508 закрытием на фиг. 5G. Как показано на фиг. 5H, игровой интерфейс по-прежнему отображается.

[00186] Вышеприведенное описание выполнено с использованием примера, в котором, когда функция игрового процесса со считыванием движения впервые активирована, необходимо настроить игровой процесс со считыванием движения. Впоследствии, когда мобильный телефон снова активирует игровой процесс со считыванием движения, может больше не требоваться настройка игрового процесса со считыванием движения, и пользователь может непосредственно играть в игру, используя считывание движения. Конечно, в качестве альтернативы мобильный телефон может поддерживать изменение пользователем настройки игрового процесса со считыванием движения.

[00187] Далее описывается процесс, в котором пользователь может играть в игру, используя игровой процесс со считыванием движения (то есть управлять целевой игрой, используя считывание движения).

[00188] В некоторых вариантах осуществления для обеспечения лучшего визуального восприятия пользователю также может быть предложено активировать функцию дублирования экрана, и игровой интерфейс проецируется на другое электронное устройство с большим экраном (например, телевизор), которое подключено к мобильному телефону. В качестве альтернативы, после обнаружения того, что пользователь активирует функцию игрового процесса со считыванием движения, мобильный телефон автоматически активирует функцию дублирования экрана для проецирования игрового интерфейса на другой экран.

[00189] После активации функции игрового процесса со считыванием движения мобильный телефон (например, первое приложение) может создать окно предварительного просмотра камеры. Например, мобильный телефон может добавить уровень первого приложения к игровому интерфейсу целевого игрового приложения. Уровень может включать в себя окно предварительного просмотра, созданное первым приложением, а другие области уровня являются прозрачными. Таким образом, пользователь может одновременно наблюдать игровой интерфейс целевого игрового приложения и вновь созданное окно предварительного просмотра камеры. Кроме того, пользователь может проверить, используя окно предварительного просмотра, предопределенное считывание движения, выполненное пользователем, чтобы определить, является ли предопределенное считывание движения пользователем правильным. Камера, вызываемая мобильным телефоном, может быть одной или несколькими передними камерами или может быть одной или несколькими задними камерами. Когда мобильный телефон оснащен камерой глубины, камера глубины также может вызываться для получения данных о глубине изображения пользователя, чтобы дополнительно определять позы, такие как наклон тела вперед/назад, подъем рук вперед/назад и подъем ног вперед/назад пользователя. Камера глубины включает в себя любую одну или несколько из камеры со структурированным светом, бинокулярной камеры, времяпролетной (time of flight, TOF) камеры и т.п.

[00190] В конкретном примере игровой интерфейс, отображаемый на мобильном телефоне, проецируется на электронное устройство с большим экраном, такое как телевизор, который подключен к мобильному телефону, мобильный телефон вызывает заднюю камеру для захвата изображения пользователя, затем определяет считывание движения пользователя на основе захваченного изображения пользователя и определяет, является ли считывание движения предопределенным считыванием движения.

[00191] Фиг. 5I представляет собой игровой интерфейс 509 целевой игры. Игровой интерфейс 509 включает в себя окно 510 предварительного просмотра камеры. Пользователь может настроить, используя окно 510 предварительного просмотра камеры, положение, в котором находится мобильный телефон, и определить положение, в котором пользователь выполняет предопределенное считывание движения. В некоторых примерах мобильный телефон может начать вызов камеры после начала целевой игры или может начать вызов камеры после запуска игры. Мобильный телефон может все время отображать окно предварительного просмотра камеры, так что пользователь проверяет, используя окно предварительного просмотра камеры, считывание движения, выполняемое пользователем, чтобы определить, является ли выполненное считывание движения правильным. Конечно, после того, как пользователь ознакомится с игровым процессом со считыванием движения, окно предварительного просмотра может альтернативно закрываться вручную или окно предварительного просмотра автоматически закрывается после того, как мобильный телефон отображает окно предварительного просмотра в течение некоторого периода времени. Таким образом, пользователь может просматривать игровой интерфейс в полноэкранном режиме. Это не ограничено в этом варианте осуществления настоящей заявки.

[00192] Впоследствии, когда пользователь играет в целевую игру, камера мобильного телефона захватывает изображение пользователя в режиме реального времени, анализирует захваченное изображение пользователя, распознает считывание движения пользователя и определяет, является ли считывание движения предопределенным считыванием движения. Если считывание движения является предопределенным считыванием движения, выполняется поиск операции касания, соответствующей предопределенному считыванию движения, инструкция соответствующей операции касания отправляется в целевую игру, и целевая игра выполняет соответствующий ответ. Следовательно, достигается эффект, когда пользователь управляет целевой игрой, используя предопределенное считывание движения.

[00193] Нижеследующее иллюстрирует конкретную реализацию распознавания считывания движения пользователя.

[00194] Во-первых, мобильный телефон выполняет распознавание точек костей на захваченном изображении пользователя (которое обычно представляет собой изображение RGB или может включать изображение глубины, захваченное камерой глубины) и конвертирует портрет на изображении пользователя в координаты движения костей, объединенные с помощью точек костей (и/или линий соединения между точками костей), чтобы определить считывание движения, соответствующее изображению пользователя. Видно, что координаты движения костей включают в себя координаты точек костей на портрете.

[00195] Например, фиг. 6A представляет собой изображение 600, захваченное мобильным телефоном. Мобильный телефон может определять портрет, такой как портрет 601 на изображении, используя, например, технологию распознавания портрета. Впоследствии положения суставов, таких как локтевые суставы, лучезапястные суставы и коленные суставы, на портрете 601 определяются с использованием технологии распознавания костей (процесс оценки положения точек суставов костей человеческого тела на изображении или видео с использованием технологии компьютерного зрения), и позиционированные точки суставов, наконец, могут формировать изображение костей человеческого тела, которое может отражать информацию, такую как текущая поза (то есть считывание движения) человеческого тела или тому подобное.

[00196] Когда поза (то есть считывание движения) портрета анализируется на основе координат движения костей, поза портрета может быть определена на основе координатных положений точек костей или может быть определена на основе относительного соответствия положений между точками костей или может быть определена на основе линии соединения между любыми двумя точками костей. Это не ограничено в этом варианте осуществления настоящей заявки.

[00197] Например, на фиг. 6A показаны некоторые распознанные точки костей в черных треугольниках, и точки костей могут включать в себя: лобную кость 602, шейный позвонок, лопатку, локтевой сустав, лучезапястный сустав, тазовую кость, коленный сустав, голеностопный сустав, и тому подобное. Можно понять, что, когда распознается больше точек костей, распознанная поза пользователя является более точной. Конечно, мобильный телефон может определить на основе сложности предопределенного считывания движения, какие точки костей необходимо распознать, чтобы уменьшить распознавание ненужных точек костей, тем самым помогая уменьшить объем вычислений и улучшая возможности обработки мобильного телефона. Это не ограничено в этом варианте осуществления настоящей заявки.

[00198] В некоторых примерах поза пользователя может быть определена непосредственно на основе координат точек костей, или отношения относительного положения между точками костей, или линий соединения между точками костей. В некоторых других примерах эталонный портрет может быть альтернативно предварительно задан, то есть эталонные координаты или положения точек костей задаются в эталонном портрете. Впоследствии, когда определена поза пользователя, поза пользователя может быть определена на основе отношения относительного положения между точками костей на подлежащем определению портрете и точками костей на эталонном портрете. Эталонные координаты точек костей в эталонном портрете могут быть средними значениями точек костей, определенными на основе различных портретов в массивных картинках. В качестве альтернативы эталонные координаты точек костей на эталонном портрете могут быть значениями координат точек костей, определенными на основе изображения конкретного человека (например, пользователя мобильного телефона). Это не является конкретно ограниченным в этом варианте осуществления этой заявки.

[00199] Например, из координат точек костей на портрете 601 можно узнать, что линия соединения между лобной костью 602 и шейным позвонком параллельна (или приблизительно параллельна) вертикальному направлению, а координаты других точек костей также находятся в конкретном позиционном отношении. Следовательно, может быть определено, что пользователь на портрете 601 стоит прямо, а руки свисают естественным образом.

[00200] В другом примере на портрете 603, показанном на ФИГ. 6В, из координат точек костей на портрете 603 можно узнать, что линия соединения между лобной костью 602 и шейным позвонком образует конкретный угол с вертикальным направлением (например, поворачиваясь против часовой стрелки на α градусов, причем α больше, чем 10 градусов и менее 90 градусов). Следовательно, может быть определено, что пользователь на портрете 603 находится в позе, наклоненной влево. В некоторых других примерах координаты точек костей на портрете 601 альтернативно могут быть установлены в качестве эталона, и портрет, положение которого необходимо определить, сравнивается с эталоном. Например, линия соединения между лобной костью 602 и шейным позвонком на портрете 603 образует конкретный угол (например, поворот против часовой стрелки на β градусов, причем β больше 10 градусов и меньше 90 градусов) с линией соединения между лобной костью 602 и шейным позвонком на портрете 601. Следовательно, можно определить, что пользователь на портрете 603 находится в позе, наклоненной влево.

[00201] В другом примере описание по-прежнему делается с использованием примера, в котором координаты точек костей на портрете 601 установлены в качестве эталонных. На портрете 604, показанном на фиг. 6С лучезапястный сустав 605 левой руки на портрете 604 расположен ближе к левому верхнему углу, чем координаты лучезапястного сустава левой руки на портрете 601, а координаты остальных точек костей почти не изменились. Следовательно, может быть определено, что пользователь находится в положении поднятия левого предплечья.

[00202] В другом примере описание по-прежнему делается с использованием примера, в котором координаты точек костей на портрете 601 установлены в качестве эталонных. На портрете 606, показанном на фиг. 6D, коленный сустав 607 левой ноги и лучезапястный сустав 608 левой ступни на портрете 606 ближе к верхнему левому углу, чем коленный сустав левой ноги и лучезапястный сустав левой ступни на портрете 601, а координаты остальных точек костей почти не изменились. Следовательно, может быть определено, что пользователь находится в положении подъема левой ноги.

[00203] Следует отметить, что приведенные выше описания сделаны с использованием в качестве примера изображения RGB, захваченного мобильным телефоном. Можно понять, что мобильный телефон может альтернативно вызывать камеру глубины для получения данных о глубине портрета на изображении. Таким образом, на основе данных о глубине может быть дополнительно определено больше положений.

[00204] Например, фиг. 6E представляет собой схематическое изображение профиля, когда верхняя часть тела пользователя наклонена вперед. Как видно из фиг. 6E, если данные глубины точек костей (например, лобная кость 602, лопатка, локтевой сустав и лучезапястный сустав) верхней части тела портрета на изображении меньше, чем данные глубины точек костей нижней части тела можно узнать, что верхняя часть тела находится ближе к камере мобильного телефона. Следовательно, можно определить, что портрет на изображении наклонен вперед. Точно так же, если данные глубины точек костей верхней части тела портрета больше, чем данные глубины точек костей нижней части тела, можно узнать, что верхняя часть тела находится дальше от камеры мобильного телефона. Следовательно, можно определить, что портрет на изображении наклонен назад.

[00205] В качестве альтернативы предварительно задано эталонное изображение. Если определено, что данные глубины точек костей верхней части тела портрета на изображении меньше, чем данные глубины точек костей верхней части тела эталонного портрета, можно определить, что портрет на изображении наклонен вперед. Если определено, что данные глубины точек костей верхней части тела портрета на изображении больше, чем данные глубины точек костей верхней части тела эталонного портрета, можно определить, что портрет на изображении наклонен назад.

[00206] В другом примере на фиг. 6F представляет собой схематическое изображение профиля, когда левая рука пользователя вытянута вперед. Как можно узнать из фиг. 6F, если данные глубины точек кости (например, левого локтевого сустава и левого лучезапястного сустава) левой руки на изображении меньше, чем данные глубины других точек кости, можно узнать, что левая рука ближе к камере мобильного телефона. Следовательно, можно определить, что левая рука портрета на изображении вытянута вперед. Точно так же, если данные о глубине точек кости левой руки портрета больше, чем данные глубины других точек костей, можно узнать, что левая рука находится дальше от камеры мобильного телефона. Следовательно, можно определить, что левая рука портрета на изображении вытянута назад.

[00207] Понятно, что альтернативно можно использовать другой способ распознавания портретной позы (то есть считывания движения) на изображении или видео. Это не ограничено в этом варианте осуществления настоящей заявки.

[00208] Вариант осуществления этой заявки дополнительно обеспечивает систему микросхем, показанную на фиг. 7. Система микросхем включает в себя по меньшей мере один процессор 1101 и по меньшей мере одну микросхему 1102 интерфейса. Процессор 1101 может быть соединен со микросхемой 1102 интерфейса с помощью линии связи. Например, микросхема 1102 интерфейса может быть сконфигурирована для приема сигнала от другого устройства (например, памяти электронного устройства 100). В другом примере микросхема 1102 интерфейса может быть сконфигурирована для отправки сигнала другому устройству (например, процессору 1101). Например, микросхема 1102 интерфейса может считывать инструкции, хранящиеся в памяти, и отправлять инструкции процессору 1101. Инструкции, выполняемые процессором 1101, могут инициировать выполнение электронным устройством этапов, выполняемых электронным устройством 100 (например, мобильным телефоном) в вышеупомянутых вариантах осуществления. Разумеется, система микросхем может дополнительно включать в себя другое дискретное устройство. Это не является конкретно ограниченным в этом варианте осуществления этой заявки.

[00209] Можно понять, что для реализации вышеупомянутых функций вышеупомянутый терминал включает в себя соответствующую аппаратную структуру и/или программные модули для выполнения функций. Специалисту в данной области техники должно быть понятно, что в сочетании с модулями и этапами алгоритма примеров, описанных в вариантах осуществления, раскрытых в данном описании, варианты осуществления настоящей заявки могут быть реализованы аппаратными средствами или комбинацией аппаратных средств и компьютерного программного обеспечения. Выполняется ли функция аппаратным обеспечением или компьютерным программным обеспечением, приводящим аппаратное обеспечение в действие, зависит от конкретных применений и конструктивных ограничений технических решений. Специалист в данной области техники может использовать разные способы реализации описанных функций для каждого конкретного приложения, но не следует считать, что реализация выходит за рамки вариантов осуществления настоящего изобретения.

[00210] В этом варианте осуществления функциональные модули терминала могут быть получены посредством разделения в соответствии с приведенными выше примерами способов. Например, функциональные модули могут быть получены посредством разделения, соответствующего различным функциям, или две или более функций могут быть интегрированы в один модуль обработки. Интегрированный модуль может быть реализован в виде аппаратного обеспечения, а может быть реализован в виде программного функционального модуля. Следует отметить, что в этом варианте осуществления настоящего изобретения разделение модулей является просто примером и представляет собой просто разделение логических функций. Во время фактической реализации может быть другой способ разделения.

[00211] Приведенные выше описания вариантов осуществления позволяют специалисту в данной области техники понять, что в целях удобного и краткого описания в качестве примера для иллюстрации используется разделение вышеупомянутых функциональных модулей. В реальном применении вышеупомянутые функции могут быть распределены и реализованы различными модулями в соответствии с требованием, то есть внутренняя структура устройства разделена на различные функциональные модули для реализации всех или части функций, описанных выше. Для конкретного рабочего процесса системы, устройства и блока, описанных выше, может быть сделана ссылка на соответствующий процесс в вышеупомянутых вариантах осуществления способа, и подробности здесь повторно не описываются.

[00212] Функциональные блоки в вариантах осуществления данной заявки могут быть интегрированы в один процессорный блок, или каждый из блоков может физически существовать сам по себе, или два или более блоков объединены в один блок. Интегрированный блок может быть реализован в виде аппаратного обеспечения или может быть реализован в виде функционального блока программного обеспечения.

[00213] Когда интегрированный блок реализуется в форме программного функционального блока и продается или используется как самостоятельный продукт, интегрированный блок может храниться на машиночитаемом носителе данных. Исходя из такого понимания, технические решения вариантов осуществления этой заявки по существу или часть, вносящая вклад в соответствующую технологию, или все или некоторые из технических решений могут быть реализованы в виде программного продукта. Компьютерный программный продукт хранится на носителе данных и включает в себя несколько инструкций для указания компьютерному устройству (которым может быть персональный компьютер, сервер, сетевое устройство и т.п.) или процессору выполнять все или некоторые из этапов способов, описанных в вариантах осуществления этой заявки. Вышеупомянутый носитель данных включает в себя: любой носитель, на котором может храниться программный код, такой как флэш-память, съемный жесткий диск, постоянное запоминающее устройство, оперативное запоминающее устройство, магнитный диск или оптический диск.

[00214] Специалисту в данной области техники также может быть понятно, что, когда интегрированный модуль реализуется в виде функционального модуля программного обеспечения и продается или используется как независимый продукт, интегрированный модуль может передаваться в одном или ряде сигналов, распространяемых с использованием коммуникационной сети. Сигнал может быть электрическим сигналом, оптическим сигналом, сигналом звуковой волны, радиосигналом или сигналом в другой форме. Конечный пользователь может загрузить программное обеспечение на локальное устройство (например, персональный компьютер, мобильный телефон или планшетный компьютер) с помощью сигнала.

[00215] Приведенные выше описания являются просто конкретными вариантами осуществления этой заявки, но не предназначены для ограничения объема защиты этой заявки. Любое изменение или замена в пределах технического объема, раскрытого в этой заявке, должны подпадать под объем защиты этой заявки. Таким образом, объем защиты настоящей заявки следует использовать в качестве объема защиты пунктов формулы изобретения.

Изобретение относится к области вычислительной техники. Технический результат направлен на повышение точности считывания команды движения. Способ запуска приложения, применимый к электронному устройству, имеющему по меньшей мере одну камеру и экран касания, и при этом способ содержит отображение посредством электронного устройства первой картинки первого приложения, при этом первое приложение поддерживает управление пользователем первым приложением посредством операции касания на экране касания, захват электронным устройством первого изображения пользователя с использованием по меньшей мере одной камеры и распознавание первого считывания движения, относящегося к положению тела пользователя на первом изображении на основе координат движения костей, конвертированных из первого изображения пользователя, определение посредством электронного устройства первой информации операции касания, соответствующей первому считыванию движения, на основе предопределенного соответствия между считыванием движения и операцией касания, при этом первая информация операции касания содержит тип первой операции касания и положение, в котором выполняется первая операция касания на экране касания, и обеспечение электронным устройством ответа от первого приложения. 4 н. и 6 з.п. ф-лы, 24 ил., 3 табл.

1. Способ запуска приложения, применимый к электронному устройству, имеющему по меньшей мере одну камеру и экран касания, и при этом способ содержит:

отображение посредством электронного устройства первой картинки первого приложения, при этом первое приложение поддерживает управление пользователем первым приложением посредством операции касания на экране касания;

захват электронным устройством первого изображения пользователя с использованием по меньшей мере одной камеры и распознавание первого считывания движения, относящегося к положению тела пользователя на первом изображении на основе координат движения костей, конвертированных из первого изображения пользователя;

определение посредством электронного устройства первой информации операции касания, соответствующей первому считыванию движения, на основе предопределенного соответствия между считыванием движения и операцией касания, которая включает в себя тип операции касания и положение, в котором операция касания выполняется на экране касания, при этом первая информация операции касания содержит тип первой операции касания и положение, в котором выполняется первая операция касания на экране касания; и

обеспечение электронным устройством ответа от первого приложения, соответствующего первой операции касания, в ответ на определение первой информации операции касания, соответствующей первому считыванию движения, без операции касания, соответствующей первой информации операции касания, выполняемой пользователем.

2. Способ по п. 1, причем способ дополнительно содержит:

отображение электронным устройством второй картинки первого приложения, при этом вторая картинка является такой же, как картинка, отображаемая электронным устройством в ответ на то, что пользователь выполняет первую операцию касания на первой картинке.

3. Способ по п. 1 или 2, отличающийся тем, что определение посредством электронного устройства первой информации операции касания, соответствующей первому считыванию движения, содержит:

вызов посредством электронного устройства интерфейса уровня прикладной инфраструктуры и определение первой информации операции касания, соответствующей первому считыванию движения.

4. Способ по любому из пп. 1-3, отличающийся тем, что перед захватом электронным устройством первого изображения пользователя посредством вызова по меньшей мере одной камеры способ дополнительно содержит:

прием электронным устройством операции, при которой пользователь активирует первую функцию; и

активацию посредством электронного устройства первой функции в ответ на операцию, при которой пользователь активирует первую функцию, при этом первая функция является функцией, первое приложение которой поддерживает управление пользователем первым приложением посредством считывания движения.

5. Способ по п. 4, отличающийся тем, что после активации электронным устройством первой функции способ дополнительно содержит:

добавление электронным устройством слоя к картинке первого приложения, при этом слой содержит непрозрачную область и прозрачную область, и непрозрачная область отображает интерфейс настройки первой функции.

6. Способ по п. 5, дополнительно содержащий:

прием электронным устройством операции, в которой пользователь настраивает соответствие между считыванием движения и операцией касания, используя интерфейс настройки первой функции, при этом

операция касания содержит тип операции касания и положение, в котором выполняется операция касания на экране касания.

7. Способ по п. 6, дополнительно содержащий:

сохранение посредством электронного устройства настройки пользователя для соответствия между считыванием движения и операцией касания; и

добавление электронным устройством второго слоя к картинке первого приложения, при этом второй слой содержит непрозрачную область и прозрачную область, и непрозрачная область отображает окно предварительного просмотра по меньшей мере одной камеры.

8. Электронное устройство, содержащее: по меньшей мере один процессор, экран касания и по меньшей мере одну камеру, при этом экран касания и по меньшей мере одна камера подсоединены к процессору, причем электронное устройство активируется для выполнения способа запуска приложения согласно любому из пп. 1-7.

9. Компьютерный носитель данных, содержащий компьютерные инструкции, при этом компьютерные инструкции при выполнении на электронном устройстве вызывают выполнение электронным устройством способа запуска приложения по любому из пп. 1-7.

10. Система микросхем, содержащая по меньшей мере один процессор, при этом, когда по меньшей мере один процессор выполняет инструкции, по меньшей мере один процессор выполняет способ запуска приложения по любому из пп. 1-7.