ЭЛЕКТРОННОЕ УСТРОЙСТВО И СПОСОБ УПРАВЛЕНИЯ ИМ Российский патент 2023 года по МПК G06F3/16 G10L15/18 

Область техники, к которой относится изобретение

[1] Изобретение относится к электронному устройству для получения модели понимания естественного языка и к способу управления им.

Уровень техники

[2] Модель понимания естественного языка представляет собой модель, которая анализирует голос пользователя и выясняет намерение пользователя, включенное в голос пользователя. Такая модель понимания естественного языка может существовать отдельно для каждого из различных приложений.

[3] Тем не менее, для сохранения модели понимания естественного языка для всех приложений, установленных на электронном устройстве, таком как смартфон, возможно, потребуется увеличение емкости памяти электронного устройства.

[4] Помимо этого, когда модель понимания естественного языка принимается из сервера и используется при необходимости, должно пройти некоторое время для приёма модели понимания естественного языка. Кроме того, модель понимания естественного языка не принимается в ситуации, в которой отсутствует соединение с сетью.

Раскрытие изобретения

Техническая задача

[5] Изобретение предусматривает электронное устройство для получения модели понимания естественного языка, соответствующей операции приложения, часто используемого пользователем, и способ управления им.

[6] Дополнительные аспекты вариантов осуществления частично изложены в нижеприведённом описании и частично являются очевидными из описания или могут быть установлены при практическом осуществлении представленных вариантов осуществления.

Решение задачи

[7] В соответствии с аспектом изобретения, электронное устройство включает в себя: запоминающее устройство, выполненное с возможностью сохранения по меньшей мере одной инструкции; и процессор, выполненный с возможностью выполнения по меньшей мере одной инструкции для: получения информации использования для приложения, установленного в электронном устройстве, получения модели понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению, на основании информации использования, выполнения понимания естественного языка для пользовательского голосового ввода, связанного с приложением, на основании модели понимания естественного языка, соответствующей приложению, и выполнения операции приложения на основании предварительно сформированного понимания естественного языка.

[8] Кроме того, электронное устройство дополнительно содержит интерфейс связи, и при этом процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для: получения информации использования, включающей в себя по меньшей мере одно из числа выполнений приложения и времени выполнения приложения, управления интерфейсом связи для передачи полученной информации использования на внешний сервер, приёма модели понимания естественного языка, соответствующей приложению, из множества моделей понимания естественного языка, соответствующих множеству приложений, с внешнего сервера через интерфейс связи, и сохранения модели понимания естественного языка в запоминающем устройстве.

[9] Кроме того, при этом модель понимания естественного языка, соответствующая приложению, принимается из внешнего сервера на основании того, что число выполнений приложения, включенного в информацию использования, равно или больше порогового числа, либо на основании того, что время выполнения приложения равно или больше порогового времени.

[10] Кроме того, приложение включает в себя информацию ресурсов, которая совпадает с информацией относительно заданного голосового высказывания, и информацию по операции, соответствующую заданному голосовому высказыванию; и процессор дополнительно выполнен с возможностью выполнения на основании того, что информация использования для приложения удовлетворяет заданному условию, по меньшей мере одной инструкции для формирования модели понимания естественного языка, соответствующей приложению, согласно информации относительно заданного голосового высказывания и информации по операции, соответствующей заданному голосовому высказыванию.

[11] Кроме того, процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для запроса первого пользовательского голосового ввода, соответствующего операции приложения, для которого на основании информации использования определено, что оно выполняется число раз, большее или равное пороговому числу раз, либо в течение времени, большего или равного пороговому времени.

[12] Кроме того, процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для:

- определения, конфликтует ли первый пользовательский голосовой ввод с пользовательским голосовым вводом, сохраненным в запоминающем устройстве, на основании первого пользовательского голосового ввода, вводимого согласно запросу; запроса второго пользовательского голосового ввода, отличного от первого пользовательского голосового ввода, на основании определения того, что первый пользовательский голосовой ввод конфликтует с сохраненным пользовательским голосовым вводом; и сохранения в запоминающем устройстве первого пользовательского голосового ввода в соответствии с операцией приложения на основании определения того, что первый пользовательский голосовой ввод не конфликтует с сохраненным пользовательским голосовым вводом.

[13] Кроме того, процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для запроса с внешнего сервера модели понимания естественного языка, соответствующей приложению, на основании того, что приложение установлено в электронном устройстве.

[14] При этом модель понимания естественного языка включает в себя по меньшей мере одно из персональной модели, сформированной на основании голосового высказывания пользователя с использованием электронного устройства, и публичной модели, сформированной на основании голосового высказывания публичного пользователя; и процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для: выполнения понимания естественного языка для пользовательского голосового ввода в персональной модели, выполнения понимания естественного языка для пользовательского голосового ввода в публичной модели, на основании того, что понимание естественного языка для пользовательского голосового ввода в персональной модели не было успешным, и передачи пользовательского голосового ввода на внешний сервер для выполнения понимания естественного языка для пользовательского голосового ввода на основании того, что понимание естественного языка для пользовательского голосового ввода в публичной модели не было успешным.

[15] Кроме того, процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для удаления полученной модели понимания естественного языка на основании того, что пользовательский голосовой ввод не вводится число раз, большее или равное пороговому числу раз, либо в течение времени, большего или равного пороговому времени.

[16] В соответствии с другим аспектом изобретения способ управления электронного устройства включает в себя: получение информации использования для приложения, установленного в электронном устройстве; получение на основании информации использования модели понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению; выполнение понимания естественного языка для пользовательского голосового ввода, связанного с приложением, на основании модели понимания естественного языка, соответствующей приложению; и выполнение операции приложения на основании выполненного понимания естественного языка.

[17] В соответствии с другим аспектом изобретения постоянный машиночитаемый носитель записи имеет записанные на нём инструкции, выполняемые посредством по меньшей мере одного процессора для осуществления способа управления электронным устройством, причем способ управления включает в себя: получение информации использования для приложения, установленного в электронном устройстве; получение на основании информации использования модели понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению; выполнение понимания естественного языка для пользовательского голосового ввода, связанного с приложением, на основании модели понимания естественного языка, соответствующей приложению; и выполнение операции приложения на основании выполненного понимания естественного языка.

Преимущества изобретения

[18] Согласно различным вариантам осуществления, когда модель понимания естественного языка получается на электронном устройстве 100, операция, соответствующая голосу пользователя, может выполняться полученной модели понимания естественного языка.

Краткое описание чертежей

[19] Вышеуказанные и другие примерные аспекты, признаки и преимущества конкретных вариантов осуществления настоящего изобретения должны становиться более понятными из нижеприведенного подробного описания, рассматриваемого вместе с сопровождающими чертежами, на которых:

[20] Фиг. 1 является схемой для описания конфигурации электронной системы согласно варианту осуществления;

[21] Фиг. 2 является схемой, иллюстрирующей блок-схему процесса получения модели понимания естественного языка для выполнения понимания естественного языка согласно варианту осуществления;

[22] Фиг. 3A является блок-схемой случая, в котором модель понимания естественного языка принимается из сервера согласно варианту осуществления;

[23] Фиг. 3B является схемой для описания процесса, в котором модель понимания естественного языка принимается из сервера согласно варианту осуществления;

[24] Фиг. 4A является блок-схемой случая, в котором модель понимания естественного языка формируется согласно другому варианту осуществления;

[25] Фиг. 4B является схемой для описания процесса, в котором модель понимания естественного языка формируется посредством электронного устройства согласно другому варианту осуществления;

[26] Фиг. 5 является блок-схемой, иллюстрирующей электронное устройство и сервер согласно варианту осуществления;

[27] Фиг. 6 является видом для описания последовательности, в которой модель понимания естественного языка работает согласно варианту осуществления; и

[28] Фиг. 7 является схемой последовательности операций для описания примера, в котором электронное устройство и сервер совместно работают с возможностью выполнения функции приложения согласно голосу пользователя, согласно варианту осуществления.

Осуществление изобретения

[29] Далее изобретение будет подробно описано с обращением к сопровождающим чертежам.

[30] Фиг. 1 является схемой для описания конфигурации электронной системы 1000 согласно варианту осуществления.

[31] Обращаясь к фиг. 1, электронная система 1000 согласно варианту осуществления включает в себя электронное устройство 100 и сервер 200.

[32] Электронное устройство 100 может быть реализовано или выполнено с возможностью выполнения понимания естественного языка для голоса пользователя с использованием модели на основании искусственного интеллекта (либо нейронной сетевой модели, обучающей или тренированной сетевой модели и т.д.) и выполнять функцию приложения на основании результата выполняемого понимания естественного языка. Здесь, понимание естественного языка означает выяснение или понимание намерения пользователя, включенного в естественный язык, который обычно используется без соблюдения только правил, в которых задается фразеология, в отличие от искусственного языка, такого как язык программирования. Модель на основании искусственного интеллекта, выполняющая такое понимание естественного языка, совместно называется «моделью понимания естественного языка».

[33] Функции, связанные с искусственным интеллектом согласно варианту осуществления, работают через процессор (например по меньшей мере один процессор) и запоминающее устройство (например по меньшей мере одно запоминающее устройство). Процессор может быть сконфигурирован как один или множество процессоров. В это время, один или множество процессоров могут представлять собой процессор общего назначения, к примеру, центральный процессор (CPU), процессор приложений (AP), процессор цифровых сигналов (DSP), специализированный графический процессор, к примеру, графический процессор (GPU) или процессор на основании машинного зрения (VPU), либо специализированный процессор на основании искусственного интеллекта, к примеру, нейронный процессор (NPU). Один или множество процессоров осуществляют управление таким образом, чтобы обрабатывать входные данные согласно предварительно заданным правилам работы или моделям на основании искусственного интеллекта, сохраненным в запоминающем устройстве. В качестве альтернативы, когда один или множество процессоров представляют собой специализированный процессор на основании искусственного интеллекта, специализированный процессор на основании искусственного интеллекта может проектироваться в аппаратной архитектуре, специально предназначенной для обработки конкретной модели на основании искусственного интеллекта.

[34] Предварительно заданные правила работы или модели на основании искусственного интеллекта отличаются посредством создания (или обновления) через обучение (или тренировку). Здесь, создание посредством обучения означает то, что базовая модель на основании искусственного интеллекта обучается (или тренируется) посредством использования множества обучающих данных (или тренировочных данных) посредством обучающего алгоритма (или тренировочного алгоритма), за счет этого создавая предварительно заданный набор правил работы или моделей на основании искусственного интеллекта, чтобы выполнять требуемую характеристику (или цель). Такое обучение может выполняться в самом устройстве, в котором искусственный интеллект согласно варианту осуществления выполняется, либо также может выполняться через отдельный сервер и/или систему. Пример обучающего алгоритма включает в себя контролируемое обучение, неконтролируемое обучение, полуконтролируемое обучение или стимулированное обучение, но обучающий алгоритм не ограничен примерами, описанными выше.

[35] Модель на основании искусственного интеллекта может включать в себя множество нейронных сетевых уровней. Каждый из множества из нейронных сетевых уровней имеет множество значений весовых коэффициентов и выполняет нейронную сетевую операцию через операцию между результатом выполнения операции предыдущего уровня и множеством весовых коэффициентов. Множество значений весовых коэффициентов множества нейронных сетевых уровней могут оптимизироваться посредством результата обучения модели на основании искусственного интеллекта. Например, множество значений весовых коэффициентов могут обновляться таким образом, что значение потерь или значение затрат, полученное из модели на основании искусственного интеллекта, уменьшается или минимизируется во время процесса обучения. Искусственная нейронная сеть может включать в себя глубокую нейронную сеть (DNN), сверточную нейронную сеть (CNN), рекуррентную нейронную сеть (RNN), ограниченную машину Больцмана (RBM), глубокую сеть доверия (DBN), двунаправленную рекуррентную глубокую нейронную сеть (BRDNN) или глубокие Q-сети, но не ограничена этим.

[36] Согласно варианту осуществления, при условии, что модель на основании искусственного интеллекта представляет собой модель понимания естественного языка, электронное устройство 100 включает в себя модель понимания естественного языка, которая распознаёт намерение пользователя, и дополнительно может обеспечивать с её помощью функцию (или операцию) виртуального секретаря. Электронное устройство 100 может быть реализовано в различных формах, таких как смартфон, планшетный персональный компьютер (PC), мобильный телефон, телефон с камерой, устройство для чтения электронных книг, настольный персональный компьютер (PC), портативный персональный компьютер (PC), нетбук, рабочая станция, сервер, карманный персональный компьютер (PDA), портативный мультимедийный проигрыватель (PMP), проигрыватель MP3, медицинское устройство, камера, носимое устройство и т.д.

[37] Такая модель понимания естественного языка может существовать отдельно согласно приложению, и одна или множество моделей понимания естественного языка, соответствующих одному приложению, могут существовать. Поскольку операция, выполняемая для каждого из различных приложений, может отличаться, содержимое ввода голосового высказывания пользователя для каждого приложения также может отличаться. Соответственно, модель понимания естественного языка может представлять собой модель, специально предназначенную для соответствующего приложения. Помимо этого, модель понимания естественного языка может разделяться на персональную модель и публичную модель. Здесь, персональная модель представляет собой модель, сформированную или обученную на основании голосового высказывания пользователя электронного устройства 100, и может представлять собой модель, персонализированную для пользователя электронного устройства 100. Помимо этого, публичная модель может представлять собой модель, сформированную или обученную на основании голосовых высказываний множества пользователей (например, множества публичных пользователей).

[38] Сервер 200 представляет собой устройство для управления множеством моделей понимания естественного языка и может быть реализован как центральный сервер или облачный сервер.

[39] Согласно варианту осуществления, сервер 200 может передавать соответствующую модель понимания естественного языка в электронное устройство 100 на основании запроса электронного устройства 100. В частности, сервер 200 может передавать предварительно обученную публичную модель в электронное устройство 100 на основании данных публичных пользователей и также может передавать персональную модель в электронное устройство 100.

[40] Согласно другому варианту осуществления, модель понимания естественного языка может формироваться в электронном устройстве 100 на основании информации ресурсов, включенной в приложение, установленное на электронном устройстве 100. Здесь, информация ресурсов может включать в себя информацию относительно заданного голосового высказывания, информацию по операции, соответствующую заданному голосовому высказыванию, информацию условия для формирования модели понимания естественного языка, информацию функции приложения, соответствующего заданному голосовому высказыванию, и т.п.

[41] Электронное устройство 100 может формировать или обучать модель понимания естественного языка на основании информации ресурсов, принимаемой из сервера 200. Помимо этого, электронное устройство 100 может принимать список операций и список временных квантов из сервера 200 и обучать публичную модель в качестве персональной модели. Это описано подробно ниже с обращением к чертежам.

[42] Согласно различным вариантам осуществления, когда (либо на основании того, что) модель понимания естественного языка получается на электронном устройстве 100, операция, соответствующая голосу пользователя, может выполняться на основании полученной модели понимания естественного языка.

[43] Кроме того, согласно различным вариантам осуществления, поскольку электронное устройство 100 получает (или получает) модель понимания естественного языка, соответствующую операции приложения, часто используемого пользователем, необязательно сохранять все модели понимания естественного языка в электронном устройстве 100. Следовательно, даже в электронном устройстве, имеющем небольшую емкость запоминающего устройства, понимание естественного языка для голоса пользователя может эффективно выполняться.

[44] Помимо этого, поскольку модель понимания естественного языка получается заранее в электронном устройстве 100 согласно частоте использования приложения, нет необходимости загружать модель понимания естественного языка из внешнего сервера в реальном времени, благодаря чему обеспечивается возможность эффективного выполнения понимания естественного языка для голоса пользователя, даже когда сетевое соединение отсутствует.

[45] Фиг. 2 является схемой, иллюстрирующей блок-схему процесса получения модели понимания естественного языка, чтобы выполнять функцию (или операцию) приложения согласно варианту осуществления.

[46] Обращаясь к фиг. 2, электронное устройство 100 может получать информацию использования для приложения, установленного в электронном устройстве 100 (этап S210). Здесь информация использования может включать в себя по меньшей мере одно из информации пользовательского ввода, связанной с приложением, и информации использования приложения согласно пользовательскому вводу. Например, информация использования может включать в себя по меньшей мере одно из информации относительно числа пользовательских вводов для выполнения приложения, информации относительно операций, выполняемых в приложении, информации времени, когда приложение выполняется, и т.д.

[47] Согласно варианту осуществления, пользовательский ввод может включать в себя ввод посредством пера или касания пользователя. Например, пользовательский ввод может представлять собой пользовательский сенсорный ввод для значка приложения или значка, выполняющего функцию, включенную в приложение, чтобы выполнять приложение или функцию, включенную в приложение.

[48] Согласно другому варианту осуществления, пользовательский ввод может включать в себя пользовательский ввод, который вводится через виртуального секретаря. В качестве примера, согласно пользовательскому вводу посредством голоса пользователя, касания пользователя, касания посредством пера и т.п., в то время когда услуга виртуального секретаря выполняется, операция, соответствующая пользовательскому вводу, может выполняться.

[49] Здесь услуга виртуального секретаря означает услугу для выполнения распознавания голоса для введенного пользовательского голоса с использованием модели на основании искусственного интеллекта, распознавания (или определения) намерения пользователя и выдачи информации ответа, соответствующей голосу пользователя, в качестве результата. Помимо этого, услуга виртуального секретаря может быть обеспечена в виде специализированной программы, отличной от другого программного обеспечения (SW), и может быть реализована с возможностью выполнения модели AI через отдельный специализированный процессор AI. Когда услуга виртуального секретаря (или услуга виртуального помощника) использует множество моделей на основании искусственного интеллекта, некоторые модели на основании искусственного интеллекта могут быть реализованы с возможностью выполнения через специализированный процессор AI.

[50] В качестве другого примера, электронное устройство 100 может получать информацию относительно операции приложения, выполняемой согласно пользовательскому вводу. В это время, информация относительно операции приложения может включать в себя информацию относительно типа операции приложения, информацию относительно времени выполнения, информацию относительно числа выполнений и т.п.

[51] Модуль отслеживания информации использования, включенный в электронное устройство 100, может отслеживать информацию использования пользовательского ввода и сохранять полученную информацию использования в запоминающем устройстве.

[52] Электронное устройство 100 может получать модель понимания естественного языка, соответствующую установленному приложению, из множества моделей понимания естественного языка на основании информации использования (этап S220). В частности, если число выполнений приложения больше или равно пороговому числу (например, предварительно установленному или заданному пороговому числу), и/или если время выполнения больше или равно пороговому времени (например, предварительно установленному или заданному пороговому времени), электронное устройство 100 может получать модель понимания естественного языка, соответствующую установленному приложению. Другими словами, электронное устройство 100 может получать модель понимания естественного языка для приложения, часто используемого пользователем, и может эффективно обрабатывать голосовой ввод пользователя.

[53] Согласно варианту осуществления, электронное устройство 100 может принимать и получать модель понимания естественного языка, соответствующую приложению, идентифицированному на основании информации использования, из сервера 200. Это подробно описано с обращением к фиг. 3B.

[54] Согласно другому варианту осуществления, электронное устройство 100 также может формировать модель понимания естественного языка, соответствующую приложению, идентифицированному на основании информации использования, на электронном устройстве 100. Это подробно описано с обращением к фиг. 4B.

[55] Помимо этого, электронное устройство 100 может получать информацию ресурсов, соответствующую операции приложения, на основании числа выполнений или времени выполнения операции приложения, а также числа выполнений или времени выполнения приложения, и может получать модель понимания естественного языка, обученную или тренированную на основании полученной информации ресурсов. В частности, если число выполнений операции приложения больше или равно пороговому числу, и/или если время выполнения больше или равно пороговому времени, электронное устройство 100 может получать информацию ресурсов, соответствующую операции выполняемого приложения, и получать модель понимания естественного языка, обученную на основании полученной информации ресурсов.

[56] Когда (или на основании того, что) голос пользователя, связанный с приложением, вводится, электронное устройство 100 может выполнять понимание естественного языка для голоса пользователя на основании модели понимания естественного языка, соответствующей приложению (этап S230). Здесь, модель понимания естественного языка, соответствующая приложению, может представлять собой модель, полученную на этапе S220.

[57] В частности, модуль понимания естественного языка может выяснять намерение пользователя посредством выполнения синтаксического анализа или семантического анализа для голоса пользователя. Соответственно, модель понимания естественного языка может получать предметную область, намерение или параметр (или временной квант), требуемый для того, чтобы представлять намерение пользовательского ввода. Здесь, предметная область может означать категорию, классифицированную согласно субъекту голоса пользователя или типу команды управления, соответствующей голосу пользователя, и, например, может представлять собой вид или тип приложения, которое предназначается посредством голоса пользователя. Такой предметная область может идентифицироваться посредством модели на основании классификатора предметных областей. В качестве примера, если голос пользователя вводится, модель на основании классификатора предметных областей может идентифицировать приложение, соответствующее голосу пользователя. Например, когда голосом пользователя вводится «Включить режим съемки автопортрета приложения A для работы с камерой», модель на основании классификатора предметных областей может идентифицировать «приложение A для работы с камерой» из голосового ввода пользователя в качестве области, представляющей предметную область. Иными словами, модель на основании классификатора предметных областей может идентифицировать предметную область соответствующего голоса пользователя в качестве «приложения A для работы с камерой». В качестве другого примера, если голос пользователя вводится, модель на основании классификатора предметных областей может идентифицировать широкий диапазон категорий, связанных с намерением пользователя. Например, модель на основании классификатора предметных областей может идентифицировать, связана ли категория, связанная с намерением пользователя, с расписанием, сообщением или напоминанием.

[58] После этого, модель понимания естественного языка может выполнять понимание естественного языка, включенное в голос пользователя, на основании идентифицированной предметной области.

[59] Электронное устройство 100 может выполнять функцию приложения на основании результата выполняемого понимания естественного языка (этап S240). Например, когда (либо на основании того, что) результат модели понимания естественного языка заключается в том, чтобы выполнять приложение "A" для работы с камерой, электронное устройство 100 может выполнять приложение A для работы с камерой.

[60] Фиг. 3A является блок-схемой случая, в котором модель понимания естественного языка принимается из сервера 200 согласно варианту осуществления.

[61] Электронное устройство 100 может включать в себя запоминающее устройство 110 (например по меньшей мере одно запоминающее устройство), интерфейс 120 связи (например по меньшей мере один интерфейс связи) и процессор 130 (например по меньшей мере один процессор).

[62] Запоминающее устройство 110 может электрически соединяться с процессором 130 и сохранять данные, используемые в различных вариантах осуществления (например, инструкции, выполняемые посредством процессора 130).

[63] Согласно варианту осуществления, запоминающее устройство 110 может сохранять модуль отслеживания информации использования (например, инструкции) и модуль подтверждения голосовых конфликтов (например, инструкции). Запоминающее устройство 110 также может сохранять модель понимания естественного языка, передаваемую посредством сервера 200. Помимо этого, запоминающее устройство 110 также может включать в себя модель на основании классификатора предметных областей.

[64] Здесь, модуль отслеживания информации использования может представлять собой модуль, который отслеживает информацию пользовательского ввода, связанную с приложением, и информацию использования приложения согласно пользовательскому вводу. Помимо этого, модуль отслеживания информации использования может отслеживать информацию использования для информации предметной области и намерений, связанной с голосом пользователя, полученным через модель на основании искусственного интеллекта услуги виртуального секретаря.

[65] Согласно примеру, модуль отслеживания информации использования может отслеживать информацию использования для приложения. В частности, модуль отслеживания информации использования может отслеживать число раз, когда соответствующая операция выполняется, и время, когда приложение выполняется, посредством касания значка приложения или значка, выполняющего функцию, включенную в приложение, посредством пера или тела (например, пальца) пользователя.

[66] Согласно другому примеру, модуль отслеживания информации использования может отслеживать информацию использования относительно виртуального секретаря. В качестве примера, если голос пользователя вводится, модель на основании распознавания голоса из моделей на основании искусственного интеллекта услуги виртуального секретаря может преобразовывать голос пользователя в текст. Помимо этого, если голос пользователя преобразуется в текст по меньшей мере одна предметная область, связанная с голосом пользователя, может идентифицироваться через модель на основании классификатора предметных областей, включенную в модель понимания естественного языка, из моделей на основании искусственного интеллекта услуги виртуального секретаря. Здесь, предметная область может представлять собой информацию, связанную с приложением. Например, предметная область может означать непосредственно приложение или категорию приложения. Иными словами, предметная область приложения A, связанного с музыкой, может представлять собой непосредственно приложение A или музыкальную категорию.

[67] Модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована конкретная предметная область через модель на основании искусственного интеллекта услуги виртуального секретаря, и может передавать идентификационную информацию по соответствующей предметной области на сервер 200, когда (либо на основании того, что) число раз, когда идентифицирована одна предметная область, больше или равно пороговому числу. Идентификационная информация по предметной области может означать информацию, которая может идентифицировать одну предметную область, которая должна отличаться от других предметных, областей и может включать в себя по меньшей мере одно из названия (заголовка) предметной области, идентификационной информации (идентификатора), идентификатора и т.п. Соответственно, электронное устройство 100 может принимать модель понимания естественного языка, соответствующую надлежащей предметной области, из сервера 200. В качестве альтернативы, сервер 200 может запрашивать электронное устройство 100 на предмет того, чтобы передавать информацию относительно числа идентификаций предметной области с заданным периодом. В этом случае, электронное устройство 100 может передавать информацию относительно числа идентификаций предметной области на сервер 200, даже когда число идентификаций предметной области меньше порогового числа, и сервер 200 может накапливать информацию относительно числа идентификаций предметной области, периодически принимаемую для определения, является ли число идентификаций предметной области равным или большим, чем пороговое число. Когда (за один раз, в ответ на либо на основании) определяется то, что число идентификаций конкретной предметной области составляет пороговое число или больше, сервер 200 может передавать модель понимания естественного языка, соответствующую надлежащей предметной области, в электронное устройство 100.

[68] В качестве другого примера, после того, как по меньшей мере одна предметная область, связанная с голосом пользователя, идентифицирована через модель на основании классификатора предметных областей, понимание естественного языка текста, соответствующего голосу пользователя, может выполняться через модель понимания естественного языка из моделей на основании искусственного интеллекта услуги виртуального секретаря для получения информации намерений пользователя, соответствующей голосу пользователя.

[69] Модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована информация конкретных намерений, через модель на основании искусственного интеллекта услуги виртуального секретаря и может передавать идентификационную информацию по соответствующей информации намерений на сервер 200, когда число раз, когда идентифицирована одна информация намерений, больше или равно пороговому числу. Идентификационная информация по информации намерений может означать информацию, которая может идентифицировать одну информацию намерений, которая должна отличаться от другой информации намерений, и может включать в себя по меньшей мере одно из названия (заголовка) информации намерений, идентификационной информации (идентификатора), идентификатора и т.п. Соответственно, электронное устройство 100 может принимать модель понимания естественного языка, соответствующую надлежащему намерению, из сервера 200. В качестве альтернативы, сервер 200 может запрашивать электронное устройство 100 на предмет передачи информации использования для информации намерений с заданным периодом или на основании заданного события. В этом случае, электронное устройство 100 может передавать идентификационную информацию по информации намерений на сервер 200, даже когда число идентификаций информации намерений меньше порогового числа, и сервер 200 может накапливать идентификационную информацию по информации намерений, периодически принимаемую для определения того, является ли число идентификаций информации намерений большим или равным пороговому числу. Если определено, что число идентификаций информации намерений больше или равно пороговому числу, сервер 200 может передавать модель понимания естественного языка, соответствующую надлежащей информации намерений, в электронное устройство 100.

[70] Другими словами, модуль отслеживания информации использования может получать информацию использования для информации предметной области и намерений, идентифицированной в услуге виртуального секретаря, даже до того, как выполняется приложение. Поскольку информация использования для информации предметной области и намерений передается на сервер 200, модель понимания естественного языка, соответствующая информации предметной области и намерений, может приниматься из сервера 200 независимо от выполнения приложения.

[71] В качестве другого примера, модуль отслеживания информации использования может отслеживать число выполнений приложения через виртуальный секретарь или число выполнений функции, включенной в приложение. Например, модель на основании виртуального секретаря может сохранять информацию использования на основании пользовательского ввода в запоминающем устройстве 110 или отдельном запоминающем устройстве, соединенном с виртуальным секретарем, и модуль отслеживания информации использования может получать сохраненную информацию использования.

[72] Между тем, в вышеописанном варианте осуществления, модуль отслеживания информации использования описан как осуществляющий отслеживание на основании информации предметной области или информации намерений, но это представляет собой лишь пример. В качестве другого примера, модуль отслеживания информации использования может отслеживать информацию по операции приложения. Иными словами, модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована информация по операции приложения, соответствующего пользовательскому вводу, и может передавать идентификационную информацию по соответствующей информации по операции и идентификационную информацию по информации для приложения, выполняющего соответствующую операцию, на сервер 200, когда число раз, когда идентифицирована одна информация по операции, больше или равно пороговому числу. Идентификационная информация по информации по операции может означать информацию, которая может идентифицировать одну операцию, которая должна отличаться от других операций, и может включать в себя по меньшей мере одно из названия (заголовка) информации по операции, идентификационной информации (идентификатора), информации временного кванта, включенной в операцию, и т.п. Соответственно, электронное устройство 100 может принимать информацию ресурсов и информацию приложения, соответствующую надлежащей операции, из сервера 200, и может обучать или формировать модель понимания естественного языка на основании информации ресурсов и информации приложения, принимаемой из сервера 200. В качестве альтернативы, сервер 200 может обучать или формировать модель понимания естественного языка на основании идентификационной информации операции и идентификационной информации приложения, принимаемой из электронного устройства 100, и передавать обученную или сформированную модель понимания естественного языка в электронное устройство 100.

[73] В качестве альтернативы, сервер 200 может запрашивать электронное устройство 100 на предмет передачи информации использования для информации по операции с заданным периодом или на основании заданного события. В этом случае, электронное устройство 100 может передавать идентификационную информацию по информации по операции на сервер 200, даже когда число идентификаций информации по операции меньше порогового числа, и сервер 200 может накапливать идентификационную информацию по операции, периодически принимаемую для определения, является ли число идентификаций информации по операции большим или равным пороговому числу. Если определено, что число идентификаций информации по операции больше или равно пороговому числу, сервер 200 может передавать информацию ресурсов или модель понимания естественного языка, соответствующую надлежащей информации по операции, в электронное устройство 100.

[74] Между тем, модуль отслеживания информации использования описан выше как включенный в электронное устройство 100, но модуль отслеживания информации использования также может быть включён в сервер 200. В частности, когда понимание естественного языка для голоса пользователя выполняется на сервере 200, сервер 200 также может отслеживать информацию использования для приложения через модуль отслеживания информации использования.

[75] В частности, когда голос пользователя вводится в электронное устройство 100, электронное устройство 100 может получать текст, соответствующий голосу пользователя, через модель на основании распознавания голоса. В это время, текст, соответствующий голосу пользователя, может получаться через модель на основании распознавания голоса, существующую в электронном устройстве 100, но это представляет собой только пример, и текст может получаться через модель на основании распознавания голоса другого сервера.

[76] Помимо этого, электронное устройство 100 может передавать текст, полученный для понимания естественного языка, на сервер 200. Сервер 200 может использовать полученный текст в качестве входных данных модели на основании классификатора предметных областей, включенной в модель понимания естественного языка. Сервер 200 может получать информацию предметной области или намерений, связанную с текстом, полученным через модель на основании классификатора предметных областей. Тем не менее, сервер 200 не ограничен этим и может принимать голос пользователя из электронного устройства 100 и получать текст, соответствующий голосу пользователя, через модель на основании распознавания голоса, предусмотренную на сервере 200, как описано выше. Между тем, электронное устройство 100 передает голос пользователя или текст, соответствующий голосу пользователя, на сервер 200 следующим образом.

[77] В качестве примера, предполагается, что модель на основании классификатора предметных областей электронного устройства 100 не идентифицирует предметную область из текста, соответствующего голосу пользователя, вводимому в электронное устройство 100. В этом случае, электронное устройство 100 может передавать голос пользователя или текст, соответствующий голосу пользователя, на сервер 200. Когда предметная область для голоса пользователя или текста, принимаемого из электронного устройства 100, идентифицируется через модель на основании классификатора предметных областей сервера 200, модуль отслеживания информации использования сервера 200 может отслеживать число идентификаций для каждой предметной области, т.е. информацию использования относительно предметной области для каждой предметной области. Помимо этого, когда идентифицирована информация намерений для голоса пользователя или текста после идентификации предметной области, модуль отслеживания информации использования сервера 200 может отслеживать число идентификаций для каждой информации намерений, т.е. информацию использования для информации намерений для каждой информации намерений.

[78] В качестве другого примера, когда идентифицирована предметная область через модель на основании классификатора предметных областей электронного устройства 100 из текста, соответствующего голосу пользователя, вводимому в электронное устройство 100, но информация намерений не идентифицирована, электронное устройство 100 может передавать идентифицированную информацию предметной области и голос пользователя или текст на сервер 200. Сервер 200 может идентифицировать информацию намерений на голосе пользователя на основании принимаемой информации предметной области и голоса пользователя или текста. Помимо этого, модуль отслеживания информации использования сервера 200 может отслеживать число идентификаций для каждой информации намерений, т.е. информацию использования для информации намерений для каждой информации намерений.

[79] Как описано выше, когда на сервере 200 идентифицирована информация предметной области или намерений, модуль отслеживания информации использования сервера 200 может получать информацию использования для информации предметной области или намерений. В этом случае, модуль отслеживания информации использования сервера 200 может суммировать информацию использования, ранее принятую из электронного устройства 100, и информацию использования, полученную из сервера 200. Соответственно, сервер 200 может идентифицировать модель понимания естественного языка, соответствующую суммированной информации использования, и передавать идентифицированную модель понимания естественного языка в электронное устройство 100.

[80] Поскольку модель понимания естественного языка, связанная с голосом пользователя или текстом, соответствующим голосу пользователя, не включается в электронное устройство 100, электронное устройство 100 может запрашивать сервер 200, чтобы идентифицировать информацию предметной области или намерений, связанную с голосом пользователя (или текстом), как описано выше. Помимо этого, электронное устройство 100 может включать в себя модель понимания естественного языка, соответствующую голосу пользователя (тексту), принимаемому из сервера 200. В этом случае, когда голос пользователя (или текст), связанный с моделью понимания естественного языка, принимаемой из сервера 200, вводится в электронное устройство 100, электронное устройство 100 может идентифицировать информацию предметной области или намерений, связанную с голосом пользователя, и может в силу этого не запрашивать отдельно идентификацию предметной области или информацию намерений на сервере 200.

[81] Другими словами, электронное устройство 100 может идентифицировать предметную область, связанную с голосом пользователя или текстом, соответствующим голосу пользователя, через модель на основании классификатора предметных областей электронного устройства 100, и когда идентифицирована информация намерений в предметной области, т.е. информация относительно конкретной функции приложения, электронное устройство 100 может не запрашивать отдельно идентификацию предметной области или информацию намерений из сервера 200 и может передавать полученную информацию использования на сервер 200, когда заданное условие удовлетворяется, либо при запросе сервера 200.

[82] Модуль подтверждения голосовых конфликтов представляет собой модуль, который подтверждает, имеет ли место конфликт, на основании подобия ранее зарегистрированному голосу пользователя или тексту, соответствующему голосу пользователя, когда голос пользователя, соответствующий заданной операции для приложения, или текст, соответствующий голосу пользователя, заново регистрируется. Другими словами, модуль подтверждения голосовых конфликтов представляет собой модуль, который может подтверждать, имеет ли место конфликт текста, а также голоса. Это подробно описано далее.

[83] Интерфейс 120 связи включает в себя схему и представляет собой компонент, допускающий обмен данными с сервером 200.

[84] Интерфейс 120 связи может передавать информацию использования на сервер 200 через проводную или беспроводную связь и принимать модель понимания естественного языка, соответствующую идентифицированному приложению, на основании информации использования из сервера 200. В этом случае, интерфейс 120 связи может передавать идентификационную информацию электронного устройства 100, а также информации использования под управлением процессора 130. Здесь, идентификационная информация может включать в себя по меньшей мере одно из адреса по Интернет-протоколу (IP), названия модели, названия устройства и серийного номера электронного устройства 100. Сервер 200 может определять цель для передачи модели понимания естественного языка на основании передаваемой идентификационной информации.

[85] Процессор 130 электрически соединяется с запоминающим устройством 110 и полностью управляет работой электронного устройства 100. Процессор 130, в общем, управляет операциями электронного устройства 100 с использованием различных инструкций или программ, сохраненных в запоминающем устройстве 110. В частности, согласно варианту осуществления, главный CPU может копировать программу в оперативное запоминающее устройство (RAM) согласно инструкциям, сохраненным в постоянном запоминающем устройстве (ROM), и осуществлять доступ к RAM, чтобы выполнять программу. Здесь, программа может включать в себя модель понимания естественного языка и т.п.

[86] Процессор 130 может загружать модуль отслеживания информации использования, модель понимания естественного языка, модуль подтверждения голосовых конфликтов и модель на основании классификатора предметных областей, сохраненные в запоминающем устройстве 110, в процессор 130. Например, процессор 130 может загружать модуль отслеживания информации использования, модель понимания естественного языка, модуль подтверждения голосовых конфликтов и модель на основании классификатора предметных областей, сохраненные в запоминающем устройстве 110, за пределы процессора 130 в запоминающее устройство в процессоре 130. Между тем, ниже с обращением к фиг. 3B подробно описан процесс, в котором электронное устройство 100 принимает модель понимания естественного языка из сервера 200 на основании информации использования для приложения.

[87] Фиг. 3B является схемой для описания процесса, в котором модель понимания естественного языка принимается из сервера согласно варианту осуществления изобретения.

[88] Приложение может быть установлено в электронном устройстве 100 (этап S310). Приложение может устанавливаться во время изготовления электронного устройства 100, к примеру, в качестве встроенного приложения, либо может устанавливаться по выбору пользователя.

[89] После этого, модуль отслеживания информации использования может отслеживать информацию использования установленного приложения (этап S320). Помимо этого, модуль отслеживания информации использования может отслеживать информацию использования для информации предметной области и намерений, связанной с голосом пользователя, полученным через модель на основании искусственного интеллекта услуги виртуального секретаря.

[90] Модуль отслеживания информации использования может отслеживать информацию пользовательского ввода, связанную с приложением, и информацию использования приложения согласно пользовательскому вводу. Например, модуль отслеживания информации использования может отслеживать число раз, когда приложение "B" доставки еды выполняется, согласно пользовательскому вводу. Случай, в котором приложение B доставки еды выполняется согласно пользовательскому вводу, может включать в себя случай, в котором приложение B доставки еды выбирается и выполняется посредством касания пользователя или пера на дисплее, и случай, в котором приложение B доставки еды выполняется посредством голоса пользователя. В этом случае, модель на основании классификатора предметных областей может идентифицировать такую информацию, что предметная область, включенная в голос пользователя, представляет собой приложение B. Например, «приложение B» может быть непосредственно включено в голос пользователя или может не быть непосредственно включено в голос пользователя, а вместо этого могут быть включены слова в отношении доставки (к примеру, «Хочу заказать доставку еды» или «Заказать доставку еды»). Во втором случае, модель на основании классификатора предметных областей может идентифицировать предметную область голоса пользователя в качестве приложения B на основании «доставки», включенной в голос пользователя.

[91] Помимо этого, модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована конкретная предметная область через модель на основании искусственного интеллекта услуги виртуального секретаря. Например, когда голос пользователя для «приложения B» вводится через виртуальный секретарь, голос пользователя для «приложения B» может преобразовываться в текст через модель на основании распознавания голоса. Модель на основании классификатора предметных областей из моделей на основании искусственного интеллекта услуги виртуального секретаря может идентифицировать предметную область, связанную с голосом пользователя, в качестве «приложения B» с использованием преобразованного текста в качестве входных данных. Модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована предметная область, как описано выше, т.е. информацию использования относительно предметной области.

[92] В качестве альтернативы, модуль отслеживания информации использования может отслеживать число идентификаций информации намерений. Например, информация намерений пользователя может идентифицироваться в качестве выбора китайского меню «приложения B», которое представляет собой приложение доставки еды. Модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована информация намерений, как описано выше, т.е. информацию использования для информации намерений.

[93] В качестве альтернативы, модуль отслеживания информации использования может отслеживать число идентификаций информации по операции. Например, когда информация по пользовательской операции представляет собой операцию фотосъемки приложения A для работы с камерой, модуль отслеживания информации использования может идентифицировать "CapturePhoto" и «приложение A для работы с камерой», что представляет собой информацию для приложения, которое выполняет операцию, в качестве информации по операции. Помимо этого, модуль отслеживания информации использования может отслеживать число раз, когда идентифицирована информация по операции, как описано выше, т.е. информацию использования для информации по операции.

[94] Модуль отслеживания информации использования может сохранять полученную информацию использования в запоминающем устройстве 110. Модуль отслеживания информации использования может сохранять измененную (или обновленную) информацию использования в запоминающем устройстве 110 каждый раз, когда возникает изменение информации использования, либо сохранять информацию использования периодически в запоминающем устройстве 110.

[95] Модуль отслеживания информации использования может идентифицировать, удовлетворяет ли отслеживаемая информация использования заданному условию (этап S330).

[96] Если информация использования удовлетворяет заданному условию (Y на этапе S330), модуль отслеживания информации использования может передавать информацию использования на сервер 200 через интерфейс 120 связи (этап S340). Например, когда приложение B выполняется три или более раз, либо накопленное время, когда приложение B выполняется, составляет 1 час или больше, модуль отслеживания информации использования может передавать информацию использования для приложения B на сервер 200. Здесь, информация использования может включать в себя по меньшей мере одно из информации приложения, которое должно выполняться, числа выполнений приложения B, времени выполнения приложения B и т.д. Например, информация относительно числа выполнений в отношении того, что число выполнений равно 5, и идентификационная информация в отношении того, что выполняемое приложение представляет собой B, могут передаваться на сервер 200 вместе. Помимо этого, модуль отслеживания информации использования также может передавать идентификационную информацию электронного устройства 100 на сервер 200. Здесь, идентификационная информация может включать в себя по меньшей мере одно из IP-адреса, названия модели, названия устройства и серийного номера электронного устройства 100. Сервер 200 может определять цель для передачи модели понимания естественного языка на основании передаваемой идентификационной информации.

[97] В качестве другого примера, когда предметная область, связанная с приложением B, идентифицирована три или более раз, либо когда информация намерений для выбора конкретной функции в приложении B идентифицирована три или более раз, модуль отслеживания информации использования может передавать идентификационную информацию по информации предметной области или намерений на сервер 200.

[98] Другими словами, заданное условие может представлять собой условие, связанное с информацией использования для приложения или информацией использования для информации предметной области и намерений в услуге виртуального секретаря. Тем не менее, заданное условие не ограничено этим и может представлять собой возникновение заданного события или наступление заданного времени. Например, модуль отслеживания информации использования может передавать полученную информацию использования на сервер 200 каждые 50 часов. Помимо этого, сервер 200 накапливает и сохраняет принимаемую информацию использования, и когда число выполнений приложения, число идентификаций предметной области или число идентификаций информации намерений превышает или равно пороговому числу на основании накопленной информации использования, сервер 200 также может передавать модель понимания естественного языка, соответствующую ему, электронному устройству 100.

[99] В качестве другого примера, когда идентифицировано, что операция приложения C выполняется три или более раз, модуль отслеживания информации использования может передавать информацию по операции и информацию в отношении приложения, которое выполняет операцию, на сервер 200.

[100] Между тем, если информация использования не удовлетворяет заданному условию (N на этапе S330), модуль отслеживания информации использования может продолжать отслеживать информацию использования для приложения или информацию использования для информации предметной области и намерений в виртуальном секретаре.

[101] Между тем, модуль отслеживания информации использования периодически подтверждает, удовлетворяет ли информация использования заданному условию, или сервер 200 также может передавать сигнал запроса, для подтверждения, удовлетворяет ли информация использования заданному условию, в электронное устройство 100.

[102] Сервер 200 может идентифицировать, включено ли приложение, выполняемое на электронном устройстве 100, среди одного или более приложений, управляемых посредством сервера 200, на основании информации использования. В частности, сервер 200 идентифицирует, является ли приложение, идентифицированное посредством модели на основании классификатора предметных областей электронного устройства 100, приложением, управляемым посредством сервера 200. Если идентифицировано, что приложение, выполняемое на электронном устройстве 100, управляется посредством сервера 200, сервер 200 может передавать модель понимания естественного языка, соответствующую надлежащему приложению, из множества моделей понимания естественного языка в электронное устройство 100. Например, если модель понимания естественного языка, соответствующая приложению B, идентифицирована из множества моделей понимания естественного языка, сервер 200 может передавать идентифицированную модель понимания естественного языка в электронное устройство 100.

[103] В качестве примера, сервер 200 может передавать модель понимания естественного языка, соответствующую конкретной функциональной операции (или функции), в электронное устройство 100 на основании информации использования, передаваемой из электронного устройства 100, из моделей понимания естественного языка, соответствующих соответствующему приложению. Например, когда приложение A для работы с камерой выполняется согласно пользовательскому вводу, и автопортрет часто снимается через приложение A для работы с камерой, сервер 200 может передавать модель понимания естественного языка для операции съёмки автопортрета приложения A для работы с камерой в электронное устройство 100 на основании информации использования, включающей в себя такую предысторию использования.

[104] Процессор 130 может принимать модель понимания естественного языка, передаваемую из сервера 200, через интерфейс 120 связи (этап S350). В это время, принимаемая модель понимания естественного языка может представлять собой публичную модель. Принимаемая публичная модель понимания на основании естественного языка может включать в себя информацию относительно заданного голосового высказывания и информацию по операции, соответствующую голосовому высказыванию. Например, принимаемая публичная модель понимания на основании естественного языка может включать в себя информацию относительно голосовых высказываний, к примеру, «Включить приложение A», «Приложение A» и т.п., и информацию по операции, с выполнением приложения A в ответ на это. В это время, процессор 130 может принимать саму модель понимания естественного языка, но также может получать информацию ресурсов для обучения или формирования модели понимания естественного языка.

[105] Модуль подтверждения голосовых конфликтов может подтверждать, имеет ли место конфликт (или конфликт) между информацией относительно голосового высказывания, включенной в модель понимания естественного языка, и ранее зарегистрированной пользовательской голосовой информацией (этап S360). Здесь, каждая из информации относительно голосового высказывания и ранее зарегистрированной пользовательской голосовой информации включает в себя голос или текст, соответствующий голосу.

[106] В качестве примера, когда текст, соответствующий голосовому высказыванию, и текст, соответствующий ранее зарегистрированному голосу пользователя, получаются через модель на основании распознавания голоса, модуль подтверждения голосовых конфликтов может подтверждать, имеет ли место конфликт между текстом, соответствующим голосовому высказыванию, и текстом, соответствующим ранее зарегистрированному голосу пользователя.

[107] Например, в случае, если ранее зарегистрированный голос пользователя представляет собой произношение, аналогичное «приложению A» или такому же названию, но на электронном устройстве 100 имеется другое приложение A, голосовому «приложению A» или тексту, соответствующему голосу могут соответствовать различные операции. В связи с этим, если голосовой конфликт подтверждается (Y на этапе S360), модуль подтверждения голосовых конфликтов может запрашивать другое голосовое высказывание, соответствующее «операции выполнения приложения A» (этап S370). Соответственно, когда другое голосовое высказывание заново вводится, чтобы выполнять приложение A, модуль подтверждения голосовых конфликтов может подтверждать заново введенный голос или текст, соответствующий голосу, для подтверждения, конфликтует ли введенное голосовое высказывание с ранее зарегистрированным голосом пользователя. Если идентифицировано, что голосовой конфликт отсутствует, модуль подтверждения голосовых конфликтов может регистрировать информацию относительно заново введенного пользовательского голоса или текста, соответствующего голосу пользователя, в качестве голоса или текста, увязанного с «операцией выполнения приложения A». В это время, процессор 130 может отображать пользовательский интерфейс (UI) для регистрации другого голосового высказывания и может регистрировать информацию относительно другого голосового высказывания, вводимого через UI.

[108] Согласно другому примеру, если число выполнений приложения больше или равно пороговому числу, либо время выполнения приложения больше или равно пороговому времени, т.е. если выполняется заданное условие, электронное устройство 100 может запрашивать голос пользователя, соответствующий конкретной операции приложения. Модуль подтверждения голосовых конфликтов может идентифицировать, конфликтует ли введённый голос пользователя с ранее зарегистрированным голосом пользователя, сохраненным в запоминающем устройстве 110, когда голос пользователя вводится согласно запросу, запрашивать голос, отличающийся от входного голоса пользователя, когда входной голос пользователя конфликтует с ранее зарегистрированным голосом пользователя, и увязывать входной голос пользователя с операцией приложения и сохранять его в запоминающем устройстве 110, когда ранее зарегистрированный голос, который конфликтует с входным голосом пользователя, не идентифицирован.

[109] Между тем, если идентифицировано, что информация относительно голосового высказывания, включенного в модель понимания естественного языка, не конфликтует с ранее зарегистрированной пользовательской голосовой информацией (N на этапе S360), модуль подтверждения голосовых конфликтов может регистрировать информацию относительно голосового высказывания (этап S380).

[110] Тем не менее, следует понимать, что один или более других вариантов осуществления не ограничены этим. Например, согласно другому варианту осуществления, в котором модель понимания естественного языка передается из сервера 200, то, имеется ли голосовой конфликт, подтверждается на сервере 200 заранее, и операция отдельного подтверждения голосового конфликта на электронном устройстве 100 также может быть исключена.

[111] Процессор 130 может сохранять модель понимания естественного языка в запоминающем устройстве 110 (этап S390). В это время, сохраненная модель понимания естественного языка может представлять собой указываемую пользователем персональную модель. После этого, если голос пользователя вводится, процессор 130 может загружать модель понимания естественного языка, сохраненную в запоминающем устройстве 110, в процессор 130, чтобы выяснять намерение пользователя, включенное в голос пользователя, на основании модели понимания естественного языка.

[112] Между тем, согласно другому варианту осуществления, если приложение установлено на электронном устройстве 100, электронное устройство 100 может запрашивать модель понимания естественного языка, соответствующую приложению, с внешнего сервера. Другими словами, если приложение установлено на электронном устройстве 100, независимо от информации использования для приложения или информации относительно числа идентификаций для информации конкретной предметной области или конкретных намерений, электронное устройство 100 может запрашивать модель понимания естественного языка, соответствующую установленному приложению, с внешнего сервера. Дополнительно и в качестве примера, если информация использования для приложения не удовлетворяет заданному условию (например, числу использований или числу вводов голоса пользователя в течение заданного периода времени после установки), модель понимания естественного языка может удаляться из электронного устройства 100.

[113] Фиг. 4A является блок-схемой случая, в котором модель понимания естественного языка формируется согласно другому варианту осуществления.

[114] Если приложение устанавливается на электронном устройстве 100, приложение может сохраняться в запоминающем устройстве 110. Процессор 130 может формировать модель понимания естественного языка на основании информации ресурсов, включенной в приложение. Как проиллюстрировано на фиг. 4A, информация ресурсов может включать в себя по меньшей мере одно из информации голосового высказывания, информации по операции, информации относительно заданного условия и т.п. Здесь, информация голосового высказывания может представлять собой характерное произнесение, заданное посредством разработчика, и информация голосового высказывания может включать в себя информацию временного кванта. Информация временного кванта может использоваться в качестве параметра функции для выполнения. Информация по операции может означать событие, которое должно отслеживаться. Информация относительно заданного условия может означать модуль понимания естественного языка, соответствующий приложению или условию для регистрации заданного высказывания. Помимо этого, информация ресурсов дополнительно может включать в себя информацию функции для выполнения, и информация функции для выполнения может сохранять информацию относительно функции приложения, которое должно соединяться с соответствующим высказыванием.

[115] Информация ресурсов может согласовываться с информацией относительно заданного голосового высказывания, информацией по операции, соответствующей заданному голосовому высказыванию, информацией условия для формирования модели понимания естественного языка, и информацией функции приложения, соответствующего заданному голосовому высказыванию, соответственно, и сохраняться в форме шаблона. Например, как проиллюстрировано в нижеприведенной таблице 1, информация ресурсов может сохраняться в запоминающем устройстве 110.

[116] Табл. 1

Характерное высказывание Описание действия Инициирующее условие Функция для выполнения Снять фото ACTION_IMAGE_C APTURE > Используется 3 раза после установки startActivityForResult (new Intent(MediaStore.ACTIO N_IMAGE_CAPTURE) Сохранить в семейном альбоме [Entity_AlbumName] ACTION_IMAGE_S AVE_
[Entity_Album_Name] > Используется 5 раз после установки savePhto(Entity_Album_Name)

[117] Информация ресурсов может включаться в данные приложения, когда приложение устанавливается. Помимо этого, запоминающее устройство 110 может сохранять список операций и список временных квантов на основании действий и временных квантов (или объектов), заданных в публичной модели, чтобы расширять охват публичной модели. Список операций может сохраняться посредством согласования по меньшей мере с одним характерным высказыванием, соответствующим операции, как проиллюстрировано в нижеприведенной таблице 2.

[118] Табл. 2

ShowContents Показать фотографию, Показать фотографии [Entity_Building], Покажешь фото?... SavePhoto Сохранить фотографию, Сохранение фотографии, Сохранить фотографию в [Entity_folder]...

[119] Помимо этого, список временных квантов может сохранять по меньшей мере одно общее существительное, которое может включаться в один временной квант, как проиллюстрировано в нижеприведенной таблице 3.

[120] Табл. 3

Здание Отель A, отель B, здание C, многоэтажное здание D... Автомобиль XXX, YYY, ZZZ...

[121] Между тем, вышеописанная информация ресурсов, список операций и список временных квантов могут сохраняться на сервере 200, и электронное устройство 100 может принимать и сохранять информацию ресурсов, список операций и список временных квантов из сервера 200. В этом случае, когда приложение устанавливается, электронное устройство 100 может принимать и сохранять информацию ресурсов, список операций и список временных квантов из сервера 200 и может принимать и сохранять информацию ресурсов, список операций и список временных квантов из сервера 200, когда заданное условие удовлетворяется. Помимо этого, электронное устройство 100 может автоматически формировать информацию ресурсов посредством анализа данных приложения. В частности, когда приложение без информации ресурсов формы шаблона устанавливается, электронное устройство 100 может формировать значение поля шаблона посредством анализа данных приложения. Более конкретно, электронное устройство 100 может получать информацию по операции посредством описательной информации операции извлечения из данных приложения. Помимо этого, электронное устройство 100 может получать характерное высказывание, соответствующее информации по операции, на основании списка операций, принимаемого из сервера 200. В качестве альтернативы, электронное устройство 100 может получать характерное высказывание, соответствующее информации по операции, на основании модели формирования текстов на естественном языке, сохраненной в электронном устройстве 100. Помимо этого, электронное устройство 100 может получать информацию относительно заданного условия на основании информации ресурсов другой формы шаблона. Как описано выше, электронное устройство 100 может получать информацию ресурсов формы шаблона на основании полученного характерного высказывания, информации по операции и информации относительно заданного условия.

[122] В частности, процессор 130 может загружать информацию ресурсов, модуль отслеживания информации использования, модель понимания естественного языка, модуль подтверждения голосовых конфликтов и модель на основании классификатора предметных областей, сохраненные в запоминающем устройстве 110 в процессор 130, и формировать модель понимания естественного языка. Ниже с обращением к фиг. 4B подробно описан процесс формирования модели понимания естественного языка.

[123] Фиг. 4B является схемой для описания процесса, в котором модель понимания естественного языка формируется посредством электронного устройства 100 согласно другому варианту осуществления.

[124] Электронное устройство 100 может устанавливать приложение в электронном устройстве 100 (этап S410). Приложение может устанавливаться во время изготовления электронного устройства 100, к примеру, как встроенное приложение или может устанавливаться по выбору пользователя. Установка приложения в электронном устройстве 100 может означать, что информация в отношении приложения сохраняется в запоминающем устройстве 110, и когда команда выполнения приложений вводится, информация в отношении приложения загружается в процессор 130 таким образом, что различные функции, включенные в приложение, могут выполняться. Здесь, информация в отношении приложения может включать в себя информацию ресурсов. Как описано выше, информация ресурсов может включать в себя по меньшей мере одно из информации относительно заданного голосового высказывания, информации по операции, соответствующей заданному голосовому высказыванию, информации заданного условия для формирования модели понимания естественного языка, информации функции приложения, соответствующего заданному голосовому высказыванию, и т.п.

[125] Между тем, модуль отслеживания информации использования может отслеживать информацию использования установленного приложения (этап S420).

[126] Помимо этого, модуль отслеживания информации использования может идентифицировать, удовлетворяет ли полученная информация использования заданному условию, включенному в информацию ресурсов (этап S430). Например, если заданное условие, включенное в информацию ресурсов, представляет собой условие для выполнения приложения три или более раз, и информация использования удовлетворяет такому условию (Y на этапе S430), процессор 130 может формировать модель понимания естественного языка, соответствующую надлежащему приложению (этап S440). В это время, модель понимания естественного языка может представлять собой публичную модель, сформированную на основании информации ресурсов приложения. Тем не менее, заданное условие, включенное в информацию ресурсов, не ограничено этим и может представлять собой то, что идентификационный номер конкретной предметной области, информация конкретных намерений или конкретная операция через модель на основании искусственного интеллекта услуги виртуального секретаря может составлять заданное число или больше.

[127] В частности, процессор 130 может формировать (или обучать) модель понимания естественного языка на основании увязки информации голосового высказывания, включенной в информацию ресурсов, с соответствующей информацией по операции. Например, процессор 130 может формировать или обучать модель понимания естественного языка на основании информации голосового высказывания «Включить камеру A», включенной в информацию ресурсов, и операции выполнения приложения A для работы с камерой. Соответственно, когда голосовое высказывание «Включить камеру A» распознается, посредством модели на основании классификатора предметных областей идентифицируется, что предметная область, включенная в голос пользователя, представляет собой «приложение A для работы с камерой», и может формироваться модель понимания естественного языка, соответствующая «приложению A для работы с камерой», для идентификации того, что намерение, включенное в голос пользователя, представляет собой операцию выполнения приложения A для работы с камерой.

[128] В качестве другого примера, процессор 130 может формировать информацию плана операций посредством анализа информации по операции приложения и получать характерное высказывание на основании сформированной информации плана операций. Помимо этого, процессор 130 может формировать модель понимания естественного языка на основании информации по операции и характерного высказывания.

[129] В частности, процессор 130 может формировать список для плана операций посредством анализа операции приложения заранее. Иными словами, процессор 130 может формировать список для плана операций посредством записи операции приложения, когда пользователь выполняет приложение. Помимо этого, процессор 130 может передавать список для плана операций на сервер 200, чтобы получать характерное высказывание модели понимания естественного языка, соответствующей соответствующему приложению. В качестве альтернативы, процессор 130 может анализировать смысл списка для плана операций через модуль трансляции и транслировать проанализированный смысл в характерное высказывание. В частности, поскольку план операций представляет собой множество команд, процессор 130 может получать множество слов через план операций. Например, если (1) [Активность: Выполнить][Свойство: Baemin] (2) [Активность: Поиск][Свойство: Китайская еда] и (3) [Активность: отобразить][Свойство: результат поиска] в качестве плана действий получается, процессор 130 может получать (1) в Baemin (2) искать китайскую еду и (3) отобразить результат поиска в качестве множества слов. Помимо этого, процессор 130 может формировать множество слов в качестве одного предложения на естественном языке через модуль формирования текстов на естественном языке. В это время, процессор 130 может получать предложение на естественном языке посредством назначения значения весового коэффициента для каждой операции. В частности, процессор 130 может назначать высокое значение весового коэффициента операции, которая включает в себя именованный объект, и назначать низкое значение весового коэффициента последующей операции. Например, процессор 130 может получать предложение на естественном языке, к примеру, «Найти и показать китайскую еду в Baemin», или «Найти китайскую еду в Baemin», посредством ввода множества слов, описанных выше, в модуль формирования текстов на естественном языке. В это время, именованный объект, включенный в название приложения или операцию, может получаться на основании списка временных квантов. Помимо этого, процессор 130 может формировать или обучать модель понимания естественного языка на основании полученного плана операций и предложения на естественном языке.

[130] Если информация использования не удовлетворяет заданному условию для формирования модели понимания естественного языка (N в S430), модуль отслеживания информации использования может непрерывно отслеживать информацию использования для приложения либо информацию использования для информации конкретной предметной области или конкретных намерений через модель на основании искусственного интеллекта услуги виртуального секретаря.

[131] Между тем, модуль подтверждения голосовых конфликтов может подтверждать, имеет ли место конфликт между информацией относительно голосового высказывания, включенной в информацию ресурсов, и ранее зарегистрированной пользовательской голосовой информацией (этап S450). В качестве альтернативы, модуль подтверждения голосовых конфликтов может подтверждать, имеет ли место конфликт между текстом, соответствующим голосовому высказыванию, и текстом, соответствующим ранее зарегистрированному голосу пользователя.

[132] В частности, модуль подтверждения голосовых конфликтов может подтверждать, имеет ли место конфликт, на основании подобия между информацией голосового высказывания (или текстовой информацией, соответствующей ему), включенной в информацию ресурсов, и ранее зарегистрированным голосом пользователя (или текстом, соответствующим ему). Например, предполагается, что имеется голосовой ввод «Включить камеру A» в ранее зарегистрированном голосе пользователя, и что операция, соответствующая ему, включает в себя операцию выполнения приложения A для работы с камерой и съемки через тыловую камеру. В этом случае, поскольку различные операции соответствуют идентичному голосовому вводу «Включить камеру A», модуль подтверждения голосовых конфликтов может идентифицировать, что имеет место голосовой конфликт.

[133] В связи с этим, если голосовой конфликт подтверждается (Y на этапе S450), модуль подтверждения голосовых конфликтов может запрашивать голосовое высказывание, отличающееся от информации голосового высказывания, включенной в информацию ресурсов (этап S460).

[134] Например, процессор 130 может управлять динамиком, чтобы выводить команду «Выполните голосовой ввод, отличный от «Включить камеру A»», или может управлять дисплеем для отображения окна UI, которое включает в себя «Выполните голосовой ввод, отличный от «Включить камеру A»».

[135] Соответственно, когда другое голосовое высказывание заново вводится, чтобы выполнять приложение A для работы с камерой, модуль подтверждения голосовых конфликтов может подтверждать, конфликтует ли введенное голосовое высказывание с ранее зарегистрированным голосом пользователя. Если идентифицировано, что голосовой конфликт отсутствует, модуль подтверждения голосовых конфликтов может формировать модуль понимания естественного языка, соответствующий приложению A для работы с камерой в состоянии, в котором информация относительно заново введенного голоса пользователя регистрируется в качестве голоса, увязанного с «операцией выполнения приложения A для работы с камерой». В качестве примера, голосовой ввод пользователя, такой как «Активировать камеру A», отличающийся от «Включить камеру A», может вводиться или регистрироваться в качестве голоса (или голосового ввода), соответствующего операции выполнения приложения A для работы с камерой. Следовательно, на основании сформированной модели понимания естественного языка, когда вводится «Активировать камеру A», выполняется операция выполнения приложения A для работы с камерой, а когда вводится «Включить камеру A», выполняется операция съемки через тыловую камеру посредством выполнения приложения A для работы с камерой, что может отличаться друг от друга.

[136] В качестве примера описан случай, в котором информация голосового высказывания, включенная в информацию ресурсов, является той же, что и ранее зарегистрированный голос пользователя, но даже если информация голосового высказывания, включенная в информацию ресурсов, аналогична ранее зарегистрированному голосу пользователя, и модель понимания естественного языка может вероятно неверно интерпретировать намерение пользователя, модуль подтверждения голосовых конфликтов может запрашивать голосовое высказывание, отличное от информации голосового высказывания, включенной в информацию ресурсов.

[137] Между тем, если идентифицировано, что информация относительно голосового высказывания, включенная в модель понимания естественного языка, не конфликтует с ранее зарегистрированной пользовательской голосовой информацией (N на этапе S450), модуль подтверждения голосовых конфликтов может регистрировать информацию относительно голосового высказывания в качестве голоса, соответствующего операции выполнения приложения A для работы с камерой.

[138] Процессор 130 может сохранять модель понимания естественного языка, в которой голос пользователя регистрируется в запоминающем устройстве 110 (этап S470). В это время, сохраненная модель понимания естественного языка может представлять собой персональную модель.

[139] После этого, если голос пользователя вводится, процессор 130 может загружать модель понимания естественного языка, сохраненную в запоминающем устройстве 110, в процессор 130, чтобы выяснять (или определять) намерение пользователя, включенное в голос пользователя, на основании модели понимания естественного языка.

[140] Между тем, согласно вышеописанным вариантам осуществления, модель понимания естественного языка может получаться посредством способа, принимаемого из сервера 200 или сформированного на электронном устройстве 100 на основании информации использования. Помимо этого, электронное устройство 100 может удалять (или стирать) полученную, сформированную или сохраненную модель понимания естественного языка из электронного устройства 100, когда заданное условие удовлетворяется (например, если пользовательский ввод, соответствующий полученной модели понимания естественного языка, не вводится пороговое число раз или более в течение заданного периода времени). То, если пользовательский ввод не вводится пороговое число раз или более, указывает то, что частота использования приложения, соответствующего модели понимания естественного языка, является низкой, электронное устройство 100 может удалять модель понимания естественного языка, имеющую низкую частоту использования, из электронного устройства 100.

[141] Фиг. 5 является блок-схемой, иллюстрирующей электронное устройство 100 и сервер 200 согласно варианту осуществления.

[142] Обращаясь к фиг. 5, электронное устройство 100 включает в себя запоминающее устройство 110 (например по меньшей мере одно запоминающее устройство), интерфейс 120 связи (например по меньшей мере один интерфейс связи) и процессор 130 (например по меньшей мере один процессор), и сервер 200 включает в себя запоминающее устройство 210 (например по меньшей мере одно запоминающее устройство), интерфейс 220 связи (например по меньшей мере один интерфейс связи) и процессор 230 (например по меньшей мере один процессор).

[143] Запоминающее устройство 110 может электрически соединяться с процессором 130 и сохранять данные, используемые в различных вариантах осуществления.

[144] Запоминающее устройство 110 может быть реализовано в виде запоминающего устройства, встроенного в электронное устройство 100, или также может быть реализовано в виде запоминающего устройства, выполненного с возможностью соединения и съемного относительно электронного устройства 100, в зависимости от цели хранения данных. Например, данные для работы электронного устройства 100 могут сохраняться в запоминающем устройстве, встроенном в электронное устройство 100, и данные для расширенных функций электронного устройства 100 могут сохраняться в запоминающем устройстве, присоединяемом и съемном относительно электронного устройства 100. Между тем, запоминающее устройство, встроенное в электронное устройство 100, может быть реализовано в виде по меньшей мере одного из энергозависимого запоминающего устройства (например, динамического оперативного запоминающего устройства (DRAM), статического RAM (SRAM), синхронного динамическое RAM (SDRAM) и т.п.) или энергонезависимого запоминающего устройства (например, однократно программируемого постоянного запоминающего устройства (OTPROM), программируемого ROM (PROM), стираемого и программируемого ROM (EPROM), электрически стираемого программируемого ROM (EEPROM), ROM с маскированием, флэш-ROM, флэш-памяти (например, NAND-флэш-памяти, флэш-памяти типа NOR и т.п.), жесткого диска или полупроводникового накопителя (SSD)). Запоминающее устройство, выполненное с возможностью соединения и съемное относительно электронного устройства 100, может быть реализовано в такой форме, как карта памяти (например, карта памяти в формате Compact Flash (CF), карта памяти по стандарту Secure Digital (SD), карта памяти по стандарту Micro Secure Digital (microSD), карта памяти по стандарту Mini Secure Digital (MiniSD), карта памяти по стандарту Extreme Digital (xD), мультимедийная карта (MMC) и т.п.), внешнее запоминающее устройство (например, запоминающее устройство USB), соединяемая с USB-портом, и т.п.

[145] Согласно варианту осуществления, запоминающее устройство 110 может сохранять модуль отслеживания информации использования, модуль подтверждения голосовых конфликтов, модель понимания естественного языка и модель на основании классификатора предметных областей.

[146] Интерфейс 120 связи включает в себя схему и представляет собой компонент, допускающий обмен данными с сервером 200.

[147] Интерфейс 120 связи может включать в себя модуль Wi-Fi, модуль Bluetooth, инфракрасный (IR) модуль, модуль локальной сети (LAN), модуль Ethernet и т.п. Здесь каждый модуль связи может быть реализован в виде по меньшей мере одной аппаратной микросхемы. Модуль беспроводной связи может включать в себя по меньшей мере одну микросхему связи, которая выполняет связь согласно различным протоколам беспроводной связи, таким как ZigBee, универсальная последовательная шина (USB), последовательный интерфейс камеры для интерфейса мобильных промышленных процессоров (MIPI CSI), стандарт третьего поколения (3G), стандарт Партнерского проекта третьего поколения (3GPP), стандарт долгосрочного развития (LTE), усовершенствованный стандарт LTE (LTE-A), стандарт четвертого поколения (4G), стандарт пятого поколения (5G) и т.п., в дополнение к вышеуказанным способам связи. Тем не менее, это представляет собой только пример, и интерфейс 120 связи может использовать по меньшей мере один модуль связи из различных модулей связи. Помимо этого, интерфейс 120 связи может обмениваться данными с сервером через проводную связь.

[148] В конфигурации, проиллюстрированной на фиг. 5, запоминающее устройство 210 и интерфейс 220 связи, включенные в сервер 200, выполняют аналогичные функции относительно запоминающего устройства 110 и интерфейса 120 связи, включенных в электронное устройство 100, и их повторное описание ниже не приводится.

[149] Между тем, процессор 130 может передавать информацию использования для приложения на сервер 200 через интерфейс 120 связи. Процессор 230 сервера 200 может принимать информацию использования через интерфейс 220 связи и идентифицировать, является ли приложение, выполняемое на электронном устройстве 100, приложением, сохраненным в запоминающем устройстве 210, на основании принимаемой информации использования. Если идентифицировано, что приложение, выполняемое на электронном устройстве 100, представляет собой приложение, сохраненное в запоминающем устройстве 210, процессор 230 может идентифицировать модель понимания естественного языка, соответствующую надлежащему приложению, из множества моделей понимания естественного языка на запоминающем устройстве 210. После этого, процессор 230 может управлять интерфейсом 220 связи таким образом, чтобы передавать идентифицированную модель понимания естественного языка в электронное устройство 100. Процессор 130 может сохранять модель понимания естественного языка, передаваемую из сервера 200, в запоминающем устройстве 110.

[150] Фиг. 6 является видом для описания последовательности, в которой модель понимания естественного языка работает согласно варианту осуществления.

[151] Обращаясь к фиг. 6, электронное устройство 100 может принимать голос пользователя (например, пользовательский голосовой ввод) (этап S610). Если голос пользователя вводится в электронное устройство 100, электронное устройство 100 может получать текст, соответствующий голосу пользователя, через модель на основании распознавания голоса. Тем не менее, следует понимать, что один или более других вариантов осуществления не ограничены этим, и распознавание голоса для голоса пользователя может выполняться посредством внешнего устройства, внешнего сервера и т.п., и электронное устройство 100 также может принимать текстовые данные, соответствующие голосу пользователя, снаружи. Помимо этого, модель на основании классификатора предметных областей, включенная в электронное устройство 100, может идентифицировать предметную область, соответствующую полученному тексту. Электронное устройство 100 может идентифицировать модель понимания естественного языка, связанную с идентифицированной предметной областью. В этом случае, электронное устройство 100 может идентифицировать, можно ли выполнять понимание естественного языка для голоса пользователя, через персональную модель из моделей понимания естественного языка, связанных с идентифицированной предметной областью (этап S620).

[152] Здесь, персональная модель представляет собой модель, сформированную или обученную на основании голосового высказывания пользователя электронного устройства 100, и может представлять собой модель, персонализированную для пользователя электронного устройства 100. Например, персональная модель может представлять собой персонализированную модель на основании модели понимания естественного языка, принимаемой из сервера 200 или сформированной в электронном устройстве 100 на основании информации использования, полученной через модуль отслеживания информации использования. Другими словами, персональная модель может представлять собой модель понимания естественного языка, связанную с конкретным приложением, которое часто используется пользователем, по сравнению с публичной моделью, описанной ниже.

[153] Если в персональной модели идентифицировано, что можно выполнять понимание естественного языка для голоса пользователя (Y на этапе S620), электронное устройство 100 может выполнять понимание естественного языка через соответствующую персональную модель (этап S630) и может выполнять функцию приложения на основании результата понимания естественного языка (этап S680).

[154] Между тем, если невозможно выполнять понимание естественного языка для голоса пользователя в персональной модели (N на этапе S620), электронное устройство 100 может идентифицировать, можно ли выполнять понимание естественного языка для голоса пользователя в публичной модели. Здесь, публичная модель представляет собой модель, которая формируется или обучается на основании голосового высказывания публичного пользователя (например, другого пользователя или пользователя, который является представителем общественности), и может представлять собой модель, используемую для того, чтобы понимать естественный язык, включенный в общий голос публичного пользователя. Например, публичная модель может представлять собой модель понимания естественного языка, связанную со встроенным приложением, которое по существу установлено в электронном устройстве 100 при изготовлении электронного устройства 100, или модель понимания естественного языка, сформированную на основании информации ресурсов приложения.

[155] Если в публичной модели идентифицировано, что можно выполнять понимание естественного языка для голоса пользователя (Y на этапе S640), электронное устройство 100 может выполнять понимание естественного языка через соответствующую публичную модель (этап S650) и может выполнять функцию приложения на основании результата понимания естественного языка (этап S680).

[156] Между тем, если невозможно выполнять понимание естественного языка для голоса пользователя в публичной модели (N на этапе S640), электронное устройство 100 может передавать голос пользователя или текст, соответствующий голосу пользователя, на сервер 200 (этап S660). Поскольку модель понимания естественного языка, допускающая выполнение понимания естественного языка для голоса пользователя, не предусмотрена в электронном устройстве 100, электронное устройство 100 может передавать голос пользователя или текст, соответствующий голосу пользователя, на сервер 200, включающий в себя множество моделей понимания естественного языка, чтобы выполнять понимание естественного языка для голоса пользователя.

[157] После этого, модель на основании классификатора предметных областей, включенная в сервер 200, может идентифицировать предметную область, соответствующую принимаемому голосу пользователя или тексту, соответствующему голосу пользователя. Сервер 200 может идентифицировать модель понимания естественного языка, связанную с идентифицированной предметной областью, и выполнять понимание естественного языка для голоса пользователя (или текста, соответствующего голосу пользователя) через идентифицированную модель понимания естественного языка.

[158] Электронное устройство 100 может принимать информацию относительно результата понимания естественного языка из сервера 200 (этап S670). После этого, электронное устройство 100 может выполнять функцию приложения на основании результата понимания естественного языка (этап S680).

[159] Фиг. 7 является схемой последовательности операций для описания примера, в котором электронное устройство 100 и сервер 200 совместно работают с возможностью выполнения функции приложения согласно голосу пользователя, согласно варианту осуществления.

[160] Обращаясь к фиг. 7, электронное устройство 100 может принимать голос пользователя (например, пользовательский голосовой ввод) (этап S710). Если голос пользователя вводится в электронное устройство 100, электронное устройство 100 может получать текст, соответствующий голосу пользователя, через модель на основании распознавания голоса. Тем не менее, следует понимать, что один или более других вариантов осуществления не ограничены этим, и распознавание голоса для голоса пользователя может выполняться посредством внешнего устройства, внешнего сервера и т.п., и электронное устройство 100 также может принимать текстовые данные, соответствующие голосу пользователя, снаружи.

[161] Электронное устройство 100 может классифицировать предметную область, соответствующую голосу пользователя (этап S720). В частности, электронное устройство 100 может идентифицировать предметную область, соответствующую полученному тексту, с использованием модели на основании классификатора предметных областей, включенной в электронное устройство 100.

[162] Электронное устройство 100 может определять, имеется ли приложение, соответствующее классифицированной предметной области (этап S730). Иными словами, электронное устройство 100 может определять, имеется ли модель понимания естественного языка, соответствующая приложению, соответствующему классифицированной предметной области, в электронном устройстве 100. Если отсутствует приложение, соответствующее классифицированной предметной области (N на этапе S730), электронное устройство 100 может передавать информацию в отношении голоса пользователя на сервер 200 (этап S735).

[163] Если определяется то, что имеется приложение, соответствующее классифицированной предметной области (Y на этапе S730), электронное устройство 100 может определять, увязывается ли информация по операции, соответствующая тексту (этап S740). Если информация по операции, соответствующая тексту, не увязывается в электронном устройстве 100 (N на этапе S745), электронное устройство 100 может передавать информацию в отношении голоса пользователя и информацию в отношении приложения на сервер 200 (этап S745).

[164] Если информация по операции, соответствующая тексту, увязывается в электронном устройстве 100 (Y на этапе S745), электронное устройство 100 может получать информацию по операции на основании модели понимания естественного языка (этап S750). Помимо этого, электронное устройство 100 может выполнять функцию приложения согласно полученной информации по операции (этап S770).

[165] В качестве альтернативы, сервер 200 может получать информацию по операции с использованием модели понимания естественного языка, сохраненной на сервере 200, на основании информации в отношении голоса пользователя (например, текстовой информации) или информации в отношении приложения, принимаемой из электронного устройства 100 (этап S760). Помимо этого, сервер 200 может передавать полученную информацию по операции в электронное устройство 100 (этап S765), и электронное устройство 100 может выполнять функцию приложения согласно полученной информации по операции (этап S770).

[166] Следует понимать, что способы согласно одному или более вариантам осуществления изобретения, описанным выше, могут быть реализованы в форме приложения, установленного в электронном устройстве.

[167] Помимо этого, способы согласно одному или более вариантам осуществления изобретения, описанного выше, могут быть реализованы только посредством обновления программного обеспечения или модернизации аппаратных средств электронного устройства из уровня техники.

[168] Помимо этого, один или более вариантов осуществления, описанных выше, также могут выполняться через встроенный сервер, включенный в электронное устройство, или по меньшей мере один внешний сервер относительно электронного устройства.

[169] Между тем, один или более вариантов осуществления, описанных выше, могут быть реализованы посредством программного обеспечения, включающего в себя инструкции, которые сохраняются на машиночитаемых (например, считываемых компьютером) носителях хранения данных. Машина представляет собой устройство, которое активирует сохраненные инструкции из носителей хранения данных и выполнено с возможностью функционирования согласно активированным инструкциям и может включать в себя электронное устройство согласно раскрытым вариантам осуществления. Когда инструкции выполняются посредством процессора, процессор может выполнять функции, соответствующие инструкциям, непосредственно или с использованием других компонентов под управлением процессора. Инструкции могут включать в себя коды, сформированные или выполняемые посредством компилятора или интерпретатора. Машиночитаемый носитель хранения данных может быть предусмотрен в виде постоянного носителя хранения данных. Здесь термин «постоянный» означает, что носитель хранения данных не включает в себя сигнал и является физическим, но не проводит различия между тем, сохраняются ли данные полупостоянным или временным образом на носителе хранения данных. Например, «постоянный носитель хранения данных» может включать в себя буфер, в котором данные сохраняются временно.

[170] Помимо этого, способ согласно одному или более вариантам осуществления, описанным выше, может быть включён в компьютерный программный продукт и обеспечен в нём. Компьютерный программный продукт может быть предметом торговли в качестве продукта между продавцом и покупателем. Компьютерный программный продукт может распространяться в виде машиночитаемых носителей хранения данных (например, постоянного запоминающего устройства на компакт-дисках (CD-ROM)) или онлайн через магазин приложений (например, PLAYSTORE™). В случае распространения через Интернет по меньшей мере часть компьютерного программного продукта может по меньшей мере временно сохраняться на носителе хранения данных, таком как запоминающее устройство сервера изготовителя, сервера магазина приложений или ретрансляционного сервера, либо может формироваться временно.

[171] Помимо этого, один или более вариантов осуществления, описанных выше, могут быть реализованы на машиночитаемом или аналогичным образом считываемом устройством носителе записи с использованием программного обеспечения, аппаратных средств либо их сочетания. В некоторых случаях, варианты осуществления могут быть реализованы посредством самого процессора. Согласно программной реализации, процедуры и функции, описанные выше, могут быть реализованы в виде отдельных программных модулей. Каждый из программных модулей может выполнять одну или более функций и операций, описанных выше.

[172] Между тем, компьютерные инструкции для операций выполнения обработки устройства согласно одному или более вариантов осуществления, описанных выше, могут сохраняться на постоянном машиночитаемом носителе. Компьютерные инструкции, сохраненные на постоянном машиночитаемом носителе, позволяют конкретному устройству выполнять операции обработки устройства согласно одному или более вариантов осуществления, описанных выше, при выполнении посредством процессора конкретного устройства.

[173] Постоянный машиночитаемый носитель не представляет собой носитель, который сохраняет данные в течение короткого времени, такой как регистр, кэш, запоминающее устройство и т.п., а означает машиночитаемый носитель, который полупостоянным образом сохраняет данные. Конкретный пример постоянного машиночитаемого носителя может включать в себя компакт-диск (CD), универсальный цифровой диск (DVD), жесткий диск, диск Blu-Ray, универсальную последовательную шину (USB), карту памяти, постоянное запоминающее устройство (ROM) и т.п.

[174] Помимо этого, каждый из компонентов (например, модулей или программ) согласно вариантам осуществления, описанным выше, может включать в себя один объект или множество объектов, и некоторые субкомпоненты из субкомпонентов, описанных выше, могут быть исключены, или другие субкомпоненты могут быть дополнительно включены в различных вариантах осуществления. В качестве альтернативы или дополнения, некоторые компоненты (например, модули или программы) могут интегрироваться в один объект, чтобы выполнять идентичные или аналогичные функции, выполняемые посредством соответствующих компонентов до интеграции. Операции, выполняемые посредством модуля, программы или другого компонента, в соответствии с различными вариантами осуществления, могут выполняться последовательным, параллельным, итеративным или эвристическим способом, либо по меньшей мере некоторые операции могут выполняться в другом порядке или могут быть исключены, либо могут быть добавлены другие операции.

[175] Хотя варианты осуществления изобретения проиллюстрированы и описаны выше, изобретение не ограничено вышеуказанными конкретными вариантами осуществления, но может модифицироваться различными способами специалистами в области техники, к которой относится изобретение, без отступления от сущности изобретения, раскрытой по меньшей мере в прилагаемой формуле изобретения. Следует также понимать, что эти модификации попадают в пределы объема и сущности изобретения.

[176] Между тем, общие термины, которые в данный момент широко используются, могут представлять собой термины, используемые в вышеприведенном описании вариантов осуществления с учетом функций в изобретении, но могут изменяться в зависимости от намерения специалистов в данной области техники или судебного прецедента, появления новой технологии и т.п. Помимо этого, в конкретном случае, термины, произвольно выбранные заявителем, могут существовать. В этом случае, смысл таких терминов может подробно упоминаться в соответствующей части описания изобретения. Следовательно, термины, используемые в данном описании, должны определяться на основании смысла терминов и их содержания во всем описании, а не на основании лишь названий этих терминов.

[177] Выражения в единственном числе включают в себя выражения во множественном числе, если контекст явно не указывает иное. Следует дополнительно понимать, что термины «включать в себя» или «составлять», используемые в настоящей заявке, указывают на наличие признаков, числительных, этапов, операций, компонентов, частей или их сочетаний, упомянутых в этом подробном описании, но не исключают присутствие или добавление одного или более других признаков, числительных, этапов, операций, компонентов, частей либо комбинаций вышеозначенного.

[178] Следует понимать, что такие выражения, как «по меньшей мере одно из A и/или B», представляют либо "A" или "B", либо "A" и "B".

[179] Выражения «первый», «второй» и т.п., используемые в изобретении, могут указывать различные компоненты независимо от последовательности и/или важности компонентов и используются только для того, чтобы отличать один компонент от других компонентов, и не ограничивают в иных отношениях соответствующие компоненты.

[180] Если указано, что какой-либо компонент (например, первый компонент) (функционально или с возможностью осуществления связи) связан или соединён с другим компонентом (например, вторым компонентом), следует понимать, что какой-либо компонент непосредственно соединён с другим компонентом либо может быть соединён с упомянутым другим компонентом через другой компонент (например, третий компонент).

[181] В данном описании «модуль» или «блок» может выполнять по меньшей мере одну функцию или операцию и может быть реализован посредством аппаратных средств или программного обеспечения либо может быть реализован посредством сочетания аппаратных средств и программного обеспечения. Помимо этого, множество «модулей» или множество «блоков» могут быть объединены по меньшей мере в одном модуле и реализованы посредством по меньшей мере одного процессора, за исключением «модуля» или «блока», который необходимо реализовать конкретными аппаратными средствами. В этом подробном описании термин «пользователь» может означать человека, использующего терминальное устройство (или терминальное устройство) либо устройство (например, электронное устройство с искусственным интеллектом), использующее терминальное устройство.

[182] Хотя варианты осуществления изобретения проиллюстрированы и описаны выше, изобретение не ограничено вышеуказанными конкретными вариантами осуществления, но может быть изменено различными способами специалистами в области техники, к которой относится изобретение, без отступления от сущности изобретения, раскрытой по меньшей мере в прилагаемой формуле изобретения. Следует также понимать, что эти изменения находятся в пределах объема и сущности изобретения.

Изобретение относится к средствам голосового ввода. Техническим результатом является повышение эффективности выполнения операций приложений электронного устройства на основании голосового ввода. Электронное устройство для выполнения операции приложения с использованием модели понимания естественного языка включает: запоминающее устройство для сохранения по меньшей мере одной инструкции и процессор для выполнения по меньшей мере одной инструкции для получения информации использования для приложения, установленного в электронном устройстве, получения модели понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению, на основании информации использования, выполнения понимания естественного языка для пользовательского голосового ввода, связанного с приложением, на основании того, что модель понимания естественного языка соответствует приложению, и выполнения операции приложения на основании предварительно сформированного понимания естественного языка. При этом модель понимания естественного языка, соответствующая приложению, принимается с внешнего сервера на основании числа выполнений приложения, включенного в информацию использования, или времени выполнения приложения. 2 н. и 11 з.п. ф-лы, 9 ил., 3 табл.

1. Электронное устройство для выполнения операции приложения с использованием модели понимания естественного языка, содержащее:

- запоминающее устройство, выполненное с возможностью сохранения по меньшей мере одной инструкции; и процессор, выполненный с возможностью выполнения по меньшей мере одной инструкции для:

- получения информации использования для приложения, установленного в электронном устройстве,

- получения модели понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению, на основании информации использования,

- выполнения понимания естественного языка для пользовательского голосового ввода, связанного с приложением, на основании модели понимания естественного языка, соответствующей приложению, и

- выполнения операции приложения на основании предварительно сформированного понимания естественного языка,

- причём модель понимания естественного языка, соответствующая приложению, принимается с внешнего сервера на основании того, что число выполнений приложения, включенное в информацию использования, равно или больше, чем пороговое число, либо на основании того, что время выполнения приложения равно или больше, чем пороговое время.

2. Электронное устройство по п. 1, дополнительно содержащее:

- интерфейс связи,

- при этом процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для:

- получения информации использования, включающей в себя по меньшей мере одно из числа выполнений приложения и времени выполнения приложения, управления интерфейсом связи для передачи полученной информации использования на внешний сервер,

- приёма модели понимания естественного языка, соответствующей приложению, из множества моделей понимания естественного языка, соответствующих множеству приложений, с внешнего сервера через интерфейс связи, и

сохранения модели понимания естественного языка в запоминающем устройстве.

3. Электронное устройство по п. 1, в котором:

- приложение включает в себя информацию ресурсов, которая совпадает с информацией относительно заданного голосового высказывания, и информацию по операции, соответствующую заданному голосовому высказыванию; и

процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции на основании того, что информация использования для приложения соответствует заданному условию, для формирования модели понимания естественного языка, соответствующей приложению, согласно информации относительно заданного голосового высказывания и информации по операции, соответствующей заданному голосовому высказыванию.

4. Электронное устройство по п. 1, в котором процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для запроса первого пользовательского голосового ввода, соответствующего операции приложения, для которого определено на основании информации использования, что оно выполнено число раз, большее или равное пороговому числу раз, либо в течение времени, большего или равного пороговому времени.

5. Электронное устройство по п. 4, в котором процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для:

- определения, конфликтует ли первый пользовательский голосовой ввод с пользовательским голосовым вводом, сохраненным в запоминающем устройстве, на основании первого пользовательского голосового ввода, вводимого согласно запросу;

- запроса второго пользовательского голосового ввода, отличного от первого пользовательского голосового ввода, на основании определения, что первый пользовательский голосовой ввод конфликтует с сохраненным пользовательским голосовым вводом; и

- сохранения в запоминающем устройстве первого пользовательского голосового ввода в соответствии с операцией приложения, на основании определения, что первый пользовательский голосовой ввод не конфликтует с сохраненным пользовательским голосовым вводом.

6. Электронное устройство по п. 1, в котором процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для запроса с внешнего сервера модели понимания естественного языка, соответствующей приложению, на основании приложения, устанавливаемого в электронном устройстве.

7. Электронное устройство по п. 1, в котором:

- модель понимания естественного языка включает в себя по меньшей мере одно из персональной модели, сформированной на основании голосового высказывания пользователя с использованием электронного устройства, и публичной модели, сформированной на основании голосового высказывания публичного пользователя; и процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для:

- выполнения понимания естественного языка для пользовательского голосового ввода в персональной модели,

- выполнения понимания естественного языка для пользовательского голосового ввода в публичной модели на основании того, что понимание естественного языка для пользовательского голосового ввода в персональной модели не было успешным, и

- передачи пользовательского голосового ввода на внешний сервер для выполнения понимания естественного языка для пользовательского голосового ввода на основании того, что понимание естественного языка для пользовательского голосового ввода в публичной модели не было успешным.

8. Электронное устройство по п. 1, в котором процессор дополнительно выполнен с возможностью выполнения по меньшей мере одной инструкции для удаления полученной модели понимания естественного языка на основании того, что пользовательский голосовой ввод не вводится число раз, большее или равное пороговому числу раз, либо в течение времени, большего или равного пороговому времени.

9. Способ управления электронным устройством, причем способ управления содержит этапы, на которых:

- получают информацию использования для приложения, установленного в электронном устройстве;

- получают на основании информации использования модель понимания естественного языка из множества моделей понимания естественного языка, соответствующих приложению;

- выполняют понимание естественного языка для пользовательского голосового ввода, связанного с приложением, на основании модели понимания естественного языка, соответствующей приложению; и

- выполняют операцию приложения на основании выполненного понимания естественного языка,

- причём модель понимания естественного языка, соответствующая приложению, принимается из внешнего сервера на основании того, что число выполнений приложения, включенное в информацию использования, равно или больше порогового числа, либо на основании того, что время выполнения приложения равно или больше порогового времени.

10. Способ управления по п. 9, в котором:

- информация использования содержит по меньшей мере одно из числа выполнений приложения и времени выполнения приложения, и при этом получение модели понимания естественного языка содержит этапы, на которых:

- передают полученную информацию использования на внешний сервер,

- принимают модель понимания естественного языка, соответствующую приложению, из множества моделей понимания естественного языка, соответствующих множеству приложений, c внешнего сервера, и

сохраняют модель понимания естественного языка в электронном устройстве.

11. Способ управления по п. 9, в котором:

- приложение включает в себя информацию ресурсов, которая совпадает с информацией относительно заданного голосового высказывания, и информацию по операции, соответствующую заданному голосовому высказыванию; и получение модели понимания естественного языка содержит этап, на котором, на основании информации использования для приложения, удовлетворяющей заданному условию, формируют модель понимания естественного языка, соответствующую приложению, согласно информации относительно заданного голосового высказывания и информации по операции, соответствующей заданному голосовому высказыванию.

12. Способ управления по п. 9, дополнительно содержащий этап, на котором запрашивают первый пользовательский голосовой ввод, соответствующий операции приложения, которое определено на основании информации использования как выполняющееся число раз, большее или равное пороговому числу раз, либо в течение времени, большего или равного пороговому времени.

13. Способ управления по п. 9, дополнительно содержащий этапы, на которых:

- определяют, конфликтует ли первый пользовательский голосовой ввод с введенным пользовательским голосом, сохраненным в электронном устройстве, на основании первого пользовательского голосового ввода, вводимого согласно запросу;

- запрашивают второй пользовательский голосовой ввод, отличный от первого пользовательского голосового ввода, на основании определения, что первый пользовательский голосовой ввод конфликтует с сохраненным пользовательским голосовым вводом; и

- сохраняют в электронном устройстве первый пользовательский голосовой ввод в соответствии с операцией приложения на основании определения, что первый пользовательский голосовой ввод не конфликтует с сохраненным пользовательским голосовым вводом.