БЕСПРОВОДНОЙ ТЕРМИНАЛ, СЕРВЕР АДМИНИСТРИРОВАНИЯ, СЕРВЕР ИНТЕРПРЕТАЦИИ НАМЕРЕНИЙ, СПОСОБ УПРАВЛЕНИЯ ИМИ И ПРОГРАММА Российский патент 2021 года по МПК G06F3/12 G06F3/16 G10L15/22 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение имеет отношение к устройству обработки информации, способу управления им и программе.

УРОВЕНЬ ТЕХНИКИ

[0002] Область научных исследований и разработок, связанных с искусственным интеллектом, за последние годы находится в самой середине начальной стадии своего развития, и устройства, охватывающие от небольших электронных устройств, таких как интеллектуальные телефоны и электроприборы, до больших устройств, таких как транспортные средства и дома, стали оснащаться функциями, задействующими искусственный интеллект. Прежде всего, в практическом плане уже достаточно накоплены технологии, связанные с интерактивными пользовательскими интерфейсами, использующие распознавание речи и обработку естественного языка. Можно сказать, что полностью готовы платформы для инженеров, вовлеченных в разработку клиентской части, для снабжения ими своих продуктов функциональными элементами интерактивного пользовательского интерфейса, и трудности в разработке значительно уменьшились.

[0003] Благодаря интерактивному пользовательскому интерфейсу электронное устройство работает в форме "взаимодействия" между человеком и вычислительным устройством с использованием речевого или текстового ввода. В случае функции голосовой команды, которая уже используется на практике, ответ дается только на специальное ключевое слово, тогда как интерактивный пользовательский интерфейс позволяет человеку работать с электронным устройством, одновременно давая человеку ощущение, что он взаимодействует с устройством. Проблема в интерактивных пользовательских интерфейсах, использующих распознавание речи и обработку естественного языка, заключается в том, как прочитать намерение пользователя в настоящий момент, исходя из содержания речевого или текстового ввода, сделанного пользователем. Патентный документ 1 предлагает способ введения концепции контекста без участия пользователя для интерпретации намерения пользователя.

СПИСОК ПРОТИВОПОСТАВЛЕННЫХ МАТЕРИАЛОВ

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0004]

PTL1: Выложенный для всеобщего ознакомления патент Японии номер 2017-16683

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0005] Между тем, устройства формирования изображений, такие как МФУ (Многофункциональное (периферийное) Устройство), требуют от пользователя выполнения более сложных операций, поскольку предоставляемые функциональные элементы становятся все более разнообразными и сложными. В зависимости от требуемой услуги, в некоторых случаях пользователю очень сложно и утомительно задавать условия или тому подобное при просмотре пользовательского интерфейса МФУ. Кроме того, когда доступ к МФУ осуществляется с подвижного терминала или тому подобного, обычному пользователю трудно понять, как произвести сложные настройки, например, Wireless Direct (прямое беспроводное подключение), в пользовательском интерфейсе. Помимо этого, некоторые пользователи недостаточно глубоко понимают функции, которыми обладает МФУ или тому подобное. Таким образом, существует потребность в пользовательском интерфейсе, который легко интерпретирует намерение пользователя и представляет пользователю соответствующее устройство, функцию или тому подобное.

[0006] Настоящее изобретение было сделано с учетом, по меньшей мере, одной из вышеупомянутых проблем, и направлено на предоставление механизма, который в интерактивном режиме получает намерение пользователя и представляет устройство, функцию или тому подобное, которое подходит для этого намерения пользователя, не требуя от пользователя выполнения сложной операции.

РЕШЕНИЕ ЗАДАЧИ

[0007] Например, настоящее изобретение представляет собой беспроводной терминал с возможностью осуществления связи с устройством формирования изображений и сервером, причем беспроводной терминал, отличается тем, что включает в себя: средство взаимодействия для принятия пользовательского ввода с помощью речи или текста, уведомления сервера о принятом пользовательском вводе, а также предоставления возможности пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю; средство приема для приема от сервера списка из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое интерпретируется сервером на основе взаимодействия через средство взаимодействия; и средство отображения для отображения списка, принятого средством приема.

[0008] Кроме этого настоящее изобретение представляет собой сервер администрирования с возможностью осуществления связи с сервером интерпретации намерений, который интерпретирует намерение пользователя беспроводного терминала в соответствии с пользовательским вводом, произведенным пользователем, и одно или несколько устройств формирования изображений, причем сервер администрирования отличается тем, что включает в себя: базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений, соотнесенных друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений; средство приема для приема намерения пользователя, интерпретируемого сервером интерпретации намерений; и средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению, принятому средством приема, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.

[0009] Кроме этого настоящее изобретение представляет собой сервер интерпретации намерений с возможностью осуществления связи с сервером администрирования и беспроводным терминалом, причем сервер интерпретации намерений отличается тем, что включает в себя: средство приема для приема пользовательского ввода с помощью речи или текста от беспроводного терминала; механизм распознавания речи, который выполняет распознавание речи, если пользовательский ввод, принятый средством приема, является речью; механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста; базу данных намерений, хранящую множество намерений и один или несколько параметров для каждого из намерений, соотнесенных друг с другом; и средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале, если намерение пользователя не может быть интерпретировано.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0010] В соответствии с настоящим изобретением можно в интерактивном режиме получить намерение пользователя и представить устройство, функцию или тому подобное, которое подходит для этого намерения пользователя, не требуя от пользователя выполнения сложной операции.

[0011] Другие признаки и преимущества настоящего изобретения будут очевидны в контексте последующего описания со ссылкой на прилагаемые чертежи. Следует отметить, что на прилагаемых чертежах одинаковым или подобным компонентам присвоены одинаковые номера позиций.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0012] Прилагаемые чертежи включаются в описание изобретения и составляют часть описания изобретения, иллюстрируют варианты осуществления настоящего изобретения и используются для описания принципа настоящего изобретения вместе с изложением описания изобретения.

Фиг. 1 является схемой, показывающей конфигурацию системы обработки информации в соответствии с вариантом осуществления.

Фиг. 2 является схемой, показывающей аппаратную конфигурацию МФУ в соответствии с вариантом осуществления.

Фиг. 3 является схемой, показывающей программную конфигурацию МФУ в соответствии с вариантом осуществления.

Фиг. 4 является схемой, показывающей аппаратную конфигурацию беспроводного терминала в соответствии с вариантом осуществления.

Фиг. 5 является схемой, показывающей аппаратную конфигурацию серверов в соответствии с вариантом осуществления.

Фиг. 6 является блок-схемой последовательности операций сервера интерпретации намерений в соответствии с вариантом осуществления.

Фиг. 7 является блок-схемой последовательности операций сервера администрирования МФУ в соответствии с вариантом осуществления.

Фиг. 8A является схемой, показывающей переключение пользовательского интерфейса подвижного терминала в соответствии с вариантом осуществления.

Фиг. 8B является схемой, показывающей переключение пользовательского интерфейса подвижного терминала в соответствии с вариантом осуществления.

Фиг. 9 является диаграммой последовательности операций, применимой к выбору печатающего устройства, в соответствии с вариантом осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0013] В дальнейшем в этом документе будут описаны варианты осуществления настоящего изобретения. Отдельные варианты осуществления, описанные ниже, помогут понять различные концепции, в том числе концепции более высокого уровня, концепции среднего уровня и концепции более низкого уровня настоящего изобретения. Технический объем настоящего изобретения устанавливается формулой изобретения и не ограничивается приведенными далее вариантами осуществления.

Первый вариант осуществления

Конфигурация системы

[0014] Ниже будет описан первый вариант осуществления настоящего изобретения. Сначала со ссылкой на Фиг. 1 будет описана конфигурация системы 100 обработки информации в соответствии с этим вариантом осуществления. Система в соответствии с этим вариантом осуществления включает в себя МФУ (пример устройства формирования изображений и устройства связи) 101, беспроводной терминал (устройство обработки информации) 102, сервер 103 интерпретации намерений и сервер 104 администрирования МФУ. Следует отметить, что, по меньшей мере, МФУ 101 и беспроводной терминал 102 обладают функцией беспроводной связи, и МФУ 101 и беспроводной терминал 102 могут напрямую или косвенно соединяться друг с другом по беспроводной связи, например. Вообще, существует несколько режимов беспроводного соединения, но режим беспроводного соединения не ограничивается определенным образом в настоящем изобретении. Например, режим беспроводной связи может быть любой связью ближнего действия, такой как Wi-Fi (зарегистрированный товарный знак), BLE и NFC, дальней связью, такой как LTE (зарегистрированный товарный знак), 3G и 4G, а также новой связью IoT, такой как Cat-M1 и nb-IoT.

[0015] МФУ 101 является примером устройства формирования изображений, которое предоставляет различные услуги, такие как печать, копирование, сканирование и факсимильное изображение, и обладает функцией беспроводной связи. Беспроводной терминал 102 может соединяться по беспроводной связи с МФУ 101 и используется пользователем в качестве устройства управления МФУ 101. Сервер 103 интерпретации намерений принимает пользовательский ввод от беспроводного терминала 102 и интерпретирует намерение пользователя. Сервер 104 администрирования МФУ соединяется, с возможностью передачи информации, с сервером 103 интерпретации намерений и МФУ 101, принимает намерение пользователя, интерпретируемое сервером 103 интерпретации намерений, и передает команду для реализации намерения в МФУ 101. Следует отметить, что множество устройств формирования изображений, таких как МФУ, соединяются, с возможностью передачи информации, с сервером 104 администрирования МФУ, который представляет пользователю одно подходящее из множества устройств формирования изображений при посредстве сервера 103 интерпретации намерений, в соответствии с намерением пользователя, интерпретируемым сервером 103 интерпретации намерений.

[0016] МФУ 101 и беспроводной терминал 102 присутствуют в одной комнате в офисном здании, и пользователь делает запрос на обработку в МФУ 101, работая с беспроводным терминалом 102. При этом сервер 103 интерпретации намерений и сервер 104 администрирования МФУ могут быть выполнены с возможностью делать свои услуги общедоступными в сети Интернет. Следует отметить, что, хотя этот вариант осуществления будет описан при рассмотрении, в качестве примера, случая, когда пользователь передает запрос на обработку в МФУ 101, устройство, которое должно быть установлено в пределах объема формулы изобретения, является универсальным устройством обработки информации, и МФУ 101 также может быть персональным компьютером, подвижным терминалом или тому подобным.

Аппаратная конфигурация МФУ 101

[0017] Далее со ссылкой на Фиг. 2 будет описана аппаратная конфигурация МФУ 101 в соответствии с этим вариантом осуществления. МФУ 101 имеет, в качестве своей аппаратной конфигурации, ЦП 211, ПЗУ (Постоянное Запоминающее Устройство) 212, ОЗУ (Оперативное Запоминающее Устройство) 213, НЖМД (Накопитель на Жестком Магнитном Диске) 214, операционный блок 215, печатающее устройство 216, сканирующее устройство 217, интерфейс 218 Bluetooth (зарегистрированный товарный знак), интерфейс 219 Wi-Fi, и интерфейс 220 Ethernet (зарегистрированный товарный знак). Все составляющие аппаратного обеспечения от 211 до 220 соединяются посредством внутренней шины 221 и могут обмениваться данными друг с другом.

[0018] ЦП 211 полностью управляет операциями всего МФУ 101. ЦП 211 загружает управляющую программу, хранящуюся в ПЗУ 212, НЖМД 214 или тому подобном, в ОЗУ 213 и выполняет различные виды управления, такие как управление чтением и управление передачей. ОЗУ 213 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 211 исполняет различные программы. НЖМД 214 хранит данные изображения и различные программы.

[0019] Операционный блок 215 включает в себя устройство отображения, которое работает в качестве сенсорной панели, с которой можно работать с помощью пальца пользователя, и аппаратные кнопки. Печатающее устройство 216 печатает данные изображения, пересылаемые по внутренней шине 221, на носителе для записи, таком как бумага. Сканирующее устройство 217 считывает изображение на оригинале и генерирует данные изображения. Интерфейс 218 Bluetooth является интерфейсом для осуществления беспроводной связи, отвечающей стандарту Bluetooth, и связывается с другими устройствами, которые имеют интерфейс Bluetooth. В этом варианте осуществления интерфейс 218 Bluetooth связывается с беспроводным терминалом 102 в соответствии со стандартом Bluetooth. Интерфейс 219 Wi-Fi и интерфейс 220 Ethernet являются картами сетевого интерфейса (NIC - Network Interface Card) для подключения к сети беспроводным и проводным способом, соответственно.

Программная конфигурация МФУ 101

[0020] Далее со ссылкой на Фиг. 3 будет описана программная конфигурация МФУ 101 в соответствии с этим вариантом осуществления. МФУ 101 имеет, в качестве своей программной конфигурация, блок 301 управления сетью, блок 302 управления ПИ (пользовательским интерфейсом), ядро 303 ОС (операционной системы), блок 304 управления связью Bluetooth, блок 305 управления связью Wi-Fi, и блок 306 управления связью Ethernet.

[0021] Блок 305 управления связью Wi-Fi является модулем для управления интерфейсом 219 Wi-Fi. Блок 304 управления связью Bluetooth является модулем для управления интерфейсом 218 связи Bluetooth. Аналогично, блок 306 управления связью Ethernet управляет интерфейсом 220 связи Ethernet. Эти модули управляются ядром 303 ОС. Блок 301 управления сетью работает с блоками управления Bluetooth и Wi-Fi через посредство ядра 303 ОС. Блок 301 управления сетью администрирует текущие сетевые настройки и администрирует доступность соответственных режимов связи, а именно Ethernet (проводной ЛВС (локальной вычислительной сети)), беспроводной ЛВС и беспроводного P2P-соединения. Блок 301 управления сетью обменивается информацией с блоком 302 управления ПИ, чтобы изменять отображение в ПИ, или, наоборот, выполняет управление сетью в ответ на запрос операции от ПИ.

Аппаратная конфигурация беспроводного терминала

[0022] Далее со ссылкой на Фиг. 4 будет описан пример аппаратной конфигурации беспроводного терминала 102 в соответствии с этим вариантом осуществления. Как показано на Фиг. 4, беспроводной терминал 102 имеет, в качестве своей аппаратной конфигурации, блок 400 системного управления, операционную панель 408, громкоговоритель 409 и микрофон 410. Блок 400 системного управления включает в себя ЦП 401, ПЗУ 402, ОЗУ 403, НЖМД 404, интерфейс 405 операционной панели, интерфейс 406 речевого ввода-вывода и сетевой интерфейс 407. Эти составляющие аппаратного обеспечения от 401 до 407 соединяются посредством внутренней шины 412 и могут обмениваться данными друг с другом.

[0023] Блок 400 системного управления является блоком управления, который полностью управляет беспроводным терминалом 102. ЦП 401 полностью управляет операциями всего беспроводного терминала 102. ЦП 401 загружает управляющую программу, хранящуюся в ПЗУ 402, НЖМД 404 или тому подобном, в ОЗУ 403 и выполняет различные виды управления, такие как управление речевым вводом и передачей. ОЗУ 403 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 401 исполняет различные программы. НЖМД 404 хранит данные печати, которые должны быть переданы в МФУ 101, и различные программы.

[0024] Интерфейс 405 операционной панели является интерфейсом, который управляет пользовательским вводом в операционную панель 408 и управляет выводом отображения на операционную панель 408. Операционная панель 408 представляет собой пользовательский интерфейс, который состоит, например, из жидкокристаллического устройства отображения типа сенсорной панели и имеет блок ввода и блок отображения. Интерфейс 406 речевого ввода-вывода соединяется с громкоговорителем 409 и микрофоном 410, а также управляет получением речи от пользователя и выводом звука пользователю. Сетевой интерфейс 407 соединяется с различными сетями. Например, сетевой интерфейс 407 соединяется с сервером 130 интерпретации намерений через посредство сети Интернет и соединяется с МФУ 101 через посредство беспроводной связи.

Аппаратная конфигурация серверов

[0025] Далее со ссылкой на Фиг. 5 будут описаны аппаратные конфигурации сервера 103 интерпретации намерений и сервера 104 администрирования МФУ в соответствии с этим вариантом осуществления. Сервер 103 интерпретации намерений включает в себя ЦП 501, ОЗУ 502, ПЗУ 503, НЖМД 504, интерфейс 505 базы данных и интерфейс 506 глобальной вычислительной сети. Эти составляющие аппаратного обеспечения от 501 до 506 соединяются посредством внутренней шины 508 и могут обмениваться данными друг с другом.

[0026] ЦП 501 полностью управляет сервером 103 интерпретации намерений. ЦП 501 загружает управляющую программу, хранящуюся в ПЗУ 503, НЖМД 504 или тому подобном, в ОЗУ 502 и выполняет различные виды управления, такие как анализ намерений и управление передачей. ОЗУ 502 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 501 исполняет различные программы. НЖМД 504 хранит описанную ниже таблицу зарегистрированных намерений и различные программы.

[0027] Интерфейс 505 базы данных соединяется с базой 507 данных (базой данных намерений) и управляет вводом и выводом информации в/из базы 507 данных. База 507 данных администрирует описанную ниже таблицу зарегистрированных намерений, показанную в Таблице 1. Интерфейс 506 глобальной вычислительной сети управляет связью с беспроводным терминалом 102 и сервером 104 администрирования МФУ через глобальную вычислительную сеть.

[0028] Сервер 104 администрирования МФУ включает в себя ЦП 511, ОЗУ 512, ПЗУ 513, НЖМД 514, интерфейс 515 базы данных и интерфейс 516 глобальной вычислительной сети. Эти составляющие аппаратного обеспечения от 511 до 516 соединяются посредством внутренней шины 518 и могут обмениваться данными друг с другом.

[0029] ЦП 511 полностью управляет сервером 104 администрирования МФУ. ЦП 511 загружает управляющую программу, хранящуюся в ПЗУ 513, НЖМД 514 или тому подобном, в ОЗУ 512 и выполняет различные виды управления, такие как анализ намерений и управление передачей. ОЗУ 512 является энергозависимым запоминающим устройством, которое используется, например, как рабочая область, с помощью которой ЦП 511 исполняет различные программы. НЖМД 514 хранит описанную ниже таблицу информации о печатающих устройствах и таблицу информации о функциональных возможностях печатающих устройств, а также различные программы.

[0030] Интерфейс 515 базы данных соединяется с базой 517 данных (базой данных печатающих устройств) и управляет вводом и выводом информации в/из базы 517 данных. База 517 данных администрирует таблицу информации о печатающих устройствах в Таблице 2 и таблицу информации о функциональных возможностях печатающих устройств в Таблице 3, которые будут описаны позже. Интерфейс 516 глобальной вычислительной сети управляет связью с МФУ 101 и сервером 103 интерпретации намерений через глобальную вычислительную сеть.

Конфигурация базы данных сервера интерпретации намерений

[0031] Далее со ссылкой на Таблицу 1 будет описана таблица зарегистрированных намерений, которая находится на сервере 103 интерпретации намерений. Эта таблица имеет, в качестве вспомогательных параметров для каждого намерения, два типа параметров, а именно Обязательные параметры и Необязательные параметры, которые не являются Обязательными параметрами. Обязательный параметр является параметром, который требуется ввести, и указывает условие, которое должно выполняться при интерпретации каждого намерения. Другие параметры вводить не требуется, но желательно, чтобы условия, указанные этими параметрами, выполнялись при интерпретации каждого намерения.

[0032] Например, примеры намерений включают в себя "выбор печатающего устройства". Это является намерением определить одно печатающее устройство, которое будет использоваться пользователем, а параметр Цвета, который является параметром, указывающим, поддерживает ли печатающее устройство, которое будет использоваться, цветную печать, устанавливается в качестве Обязательного параметра. Кроме этого параметр Сшивания, который является параметром, указывающим, поддерживается ли функция автоматического сшивания, устанавливается в качестве параметра, который не является Обязательным параметром.

[0033] Соответственно, если текстовым предложением или предложением с речевым вводом, которое подается на вход сервер 103 интерпретации намерений, является "использовать печатающее устройство с возможностью цветной печати с функцией сшивания", то намерение этого предложения интерпретируется как "выбор печатающего устройства". Кроме того, интерпретируется, что для параметра Цвета установлено значение "Включить" (поддерживается цветная печать), а также интерпретируется, что для параметра Сшивание тоже установлено значение "Включить" (поддерживается функция автоматического сшивания). Ввод текстового предложения, которое не подпадает под ни одно из подготовленных намерений, интерпретируется как "неизвестное намерение". Следует отметить, что хотя "выбор печатающего устройства", "подготовка к печати", "печать", "неизвестное намерение" определяются как намерения, и различные параметры устанавливаются для этих намерений в Таблице 1, они являются примерами и не предназначены для ограничения настоящего изобретения. Другие намерения и другие параметры также могут быть зарегистрированы, а эти намерения и параметры могут быть произвольно добавлены или удалены.

[0034] Таблица 1

Намерение Обязательный Параметр Необязательный Параметр Выбор печатающего устройства Цвет Сшивание Подготовка к печати Печать Размер, Цвет Неизвестное намерение

Конфигурация базы данных сервера администрирования МФУ

[0035] Далее со ссылкой на Таблицы 2 и 3 будет дано описание таблицы информации о печатающих устройствах и таблицы информации о функциональных возможностях печатающих устройств, которые находятся на сервере 104 администрирования МФУ. Таблица информации о печатающих устройствах, показанная в Таблице 2, задает информацию о печатающих устройствах, а именно информацию, касающуюся печатающих устройств, которые доступны для пользователей. Эта информация представляет собой список доступных печатающих устройств, соотнесенных с конкретными пользователями, и может быть задано, что один пользователь может использовать множество печатающих устройств, и что одно печатающее устройство доступно для множества пользователей. Следует отметить, что Таблица 2 является примером и не предназначена для ограничения настоящего изобретения. Другие пользователи или другие печатающие устройства также могут быть заданы в этой таблице.

[0036] Таблица 2

Пользователь Печатающее устройство X Печатающее устройство A X Печатающее устройство B Y Печатающее устройство A Z Печатающее устройство C

[0037] Таблица информации о функциональных возможностях печатающих устройств, показанная в Таблице 3, задает информацию о функциональных возможностях, а именно информацию, касающуюся функциональных возможностей печатающих устройств. Здесь параметры Размер, Цвет и Сшивание те же, что и в Таблице 1. "Размер" указывает на самый большой размер бумаги, который может быть напечатан на каждом печатающем устройстве. "Цвет" указывает, доступна ли цветная печать на каждом печатающем устройстве. Если для параметра Цвет установлено значение "True", это указывает, что на печатающем устройстве доступна цветная печать. "Сшивание" указывает, доступна ли на каждом печатающем устройстве дополнительная функция автоматического сшивания. Следует отметить, что Таблица 3 является примером и не предназначена для ограничения настоящего изобретения. Другие печатающие устройства или другие параметры также могут быть заданы в этой таблице.

[0038] Таблица 3

Печатающее устройство Размер Цвет Сшивание Печатающее устройство A A3 True True Печатающее устройство B A3 True False Печатающее устройство C A4 False False Печатающее устройство D A1 True False

Обработка, выполняемая сервером 103 интерпретации намерений

[0039] Далее со ссылкой на Фиг. 6 будет дано описание процедуры обработки, посредством которой сервер 103 интерпретации намерений в соответствии с этим вариантом осуществления интерпретирует намерение пользовательского ввода и передает сигнал на сервер 104 администрирования МФУ. Описанная ниже обработка реализуется посредством ЦП 501 сервера 103 интерпретации намерений, загружающего управляющую программу, хранящуюся в ПЗУ 503 или НЖМД 504, в ОЗУ 502 и исполняющего загруженную программу, например.

[0040] На этапе S601 ЦП 501 сервера 103 интерпретации намерений определяет, был ли принят текстовый ввод или речевой ввод от беспроводного терминала 102. Если текстовый ввод или речевой ввод был принят, обработка переходит к этапу S602, и ЦП 501 интерпретирует намерение принятого ввода. В частности, для речевого ввода, ЦП 501 сначала выполняет распознавание речи, используя механизм распознавания речи, и преобразует введенную речь в текст. Затем ЦП 501 интерпретирует намерение текста, преобразованного из текстового ввода или речевого ввода, используя механизм обработки естественного языка.

[0041] Далее, на этапе S603, ЦП 501 определяет, является ли результат определения намерения на этапе S602 неизвестным. Обработка переходит к этапу S607, если неизвестен, и переходит к этапу S604, если нет. На этапе S604, для определенного намерения, ЦП 501 определяет, отвечают ли требованиям все Обязательные параметры, показанные в Таблице 1. Обработка переходит к этапу S606, если не все Обязательные параметры отвечают требованиям, и переходит к этапу S605, если все Обязательные параметры отвечают требованиям. На этапе S606 ЦП 501 представляет через сеть пользователю беспроводного терминала 102 дополнительный вопрос, касающийся Обязательного параметра, который не отвечает требованиям, и обработка возвращается к определению на этапе S604. Следует отметить, что, когда обработка возвращается к определению на этапе S604, принимается новый пользовательский ввод, выполняется обработка интерпретации намерений, соответствующая этапу S602, и извлекаются параметры.

[0042] Если все Обязательные параметры отвечают требованиям, на этапе S605 ЦП 501 передает определенное намерение и группу параметров на сервер 104 администрирования МФУ, и обработка заканчивается. С другой стороны, если на этапе S603, результат определения намерения неизвестен, то на этапе S607 ЦП 501 представляет через сеть пользователю беспроводного терминала 102 сообщение, указывающее, что намерение неизвестно, и обработка заканчивается.

Обработка, выполняемая сервером 104 администрирования МФУ

[0043] Далее со ссылкой на Фиг. 7 будет дано описание процедуры обработки, выполняемой, когда МФУ 101 в соответствии с этим вариантом осуществления принимает намерение и параметры, передаваемые на вышеупомянутом этапе S605 от сервера 103 интерпретации намерений. Описанная ниже обработка реализуется посредством ЦП 511 сервера 104 администрирования МФУ, загружающего управляющую программу, хранящуюся в ПЗУ 513 или НЖМД 514, в ОЗУ 512 и исполняющего загруженную программу, например.

[0044] На этапе S701 ЦП 511 сервера 104 администрирования МФУ определяет, был ли принят сигнал, переданный от сервера 103 интерпретации намерений. Обработка переходит к этапу S702, если сигнал был принят, и ЦП 511 сначала получает тип намерения, включенного в сигнал, и определяет, является ли этим намерением "определение МФУ (выбор печатающего устройства)". Обработка переходит к этапу S703, если намерением является "определение МФУ", и переходит к этапу S705, если нет.

[0045] На этапе S703 ЦП 511 определяет, существует ли какое-то печатающее устройство, которое является МФУ, соотнесенным с текущим пользователем, и отвечает всем условиям (Обязательным условиям), включенным в вышеупомянутый сигнал, обращаясь к таблице информации о функциональных возможностях печатающих устройств (Таблица 2). Обработка переходит к этапу S709, если есть печатающее устройство, которое отвечает этим условиям, и переходит к этапу S704, если нет. На этапе S704 ЦП 511 уведомляет, через сеть, сервер 103 интерпретации намерений, что не найдено удовлетворяющее требованиям МФУ, и обработка заканчивается. С другой стороны, если было найдено отвечающее условиям печатающее устройство, на этапе S709 ЦП 511 генерирует список удовлетворяющих требованиям печатающих устройств и возвращает список на сервер 103 интерпретации намерений, и обработка заканчивается.

[0046] Если на этапе S702 намерение, полученное из принятого сигнала, не является "определением МФУ", то на этапе S705 ЦП 511 определяет, было ли уже определено МФУ, которое должно использоваться текущей учетной записью пользователя. Обработка переходит к этапу S710, если нет, и переходит к этапу S706, если уже определено. На этапе S710 сервер 104 администрирования МФУ передает запрос переключения намерений, чтобы заставить сервер 103 интерпретации намерений определить МФУ, и переключает намерение на "выбор печатающего устройства" в Таблице 1, и обработка заканчивается.

[0047] С другой стороны, если МФУ, которое будет использоваться, уже определено, на этапе S706 ЦП 511 определяет, требуется ли намерению в этот момент связь с определенным МФУ. Обработка переходит к этапу S707, если требуется, и переходит к этапу S709, если нет. На этапе S707 ЦП 511 передает запрос на обработку, соответствующий намерению сигнала, на целевое МФУ, если связь требуется. Затем, на этапе S708, ЦП 511 определяет, был ли принят от МФУ ответ на переданный запрос на обработку. Обработка переходит к этапу S709, если ответ был принят и ответ указывает, что запрошенная обработка была успешно выполнена, и переходит к этапу S711, если нет. На этапе S709 ЦП 511 передает сигнал, указывающий на завершение обработки для намерения, на сервер 103 интерпретации намерения. Если на этапе S707 принимается ответ, указывающий на то, что запрошенная обработка была неудачной, или ответ от МФУ 101 не был принят, то на этапе S711 ЦП 511 передает на сервер 103 интерпретации намерений сигнал, указывающий, что обработка намерения была неудачной, и обработка заканчивается.

Пользовательский интерфейс беспроводного терминала 102

[0048] Далее со ссылкой на Фиг. 8A и 8B будет описан пользовательский интерфейс, отображаемый на операционной панели 408 беспроводного терминала 102, и последовательность операций в нем. Этот пользовательский интерфейс отображается как экран интерактивного приложения на операционной панели 408 при открытии предварительно заданного приложения, хранящегося в беспроводном терминале 102. Предварительно заданное приложение может быть установлено по умолчанию в беспроводном терминале 102 или может быть загружено с внешнего устройства и установлено. Экраны с 801 по 804, показанные на Фиг. 8A и 8B, являются экранами этого приложения. Описанная ниже обработка, выполняемая беспроводным терминалом 102, выполняется посредством ЦП 401.

[0049] Экран 801 отображает предысторию взаимодействия в области 814 отображения взаимодействия. Область 814 отображения взаимодействия показывает поток взаимно-однозначных взаимодействий во временных рядах сверху. Предложения, выровненные по левой стороне, указывают вопросы или тому подобное, заданные со стороны службы МФУ, т.е. от сервера 103 интерпретации намерений, а предложения, выровненные по правой стороне, указывают высказывание или текстовый ввод, сделанные пользователем. Вопросы или тому подобное, задаваемые сервером 103 интерпретации намерения, являются вопросами, представленными на вышеупомянутых этапах S606 и S607. Если пользователь касается текстового поля 811 в нижней части экрана 801, ЦП 401 переключает отображаемый экран на экран 802, чтобы начать текстовый ввод.

[0050] Виртуальная клавиатура 822 отображается в нижней половине экрана 802, и пользователь может осуществлять ввод на различных языках. Содержимое текстового ввода отображается в текстовом поле 823. Если коснуться области 821 отображения взаимодействия на экране 802, ЦП 401 возвращает отображаемый экран к экрану 801, сохраняя при этом состояние ввода текстового поля 823. Если в этом состоянии происходит касание кнопки (значка) 813 отправки на экране 801, ЦП 401 передает на сервер 103 интерпретации намерений текст, отображаемый в текстовом поле 811, в качестве высказывания пользователя. Кроме того, ЦП 401 отображает текст в области 814 отображения взаимодействия.

[0051] Если происходит касание кнопки (значка) 812 речевого ввода на экране 801, ЦП 401 переключает отображаемый экран на экран 803, чтобы начать речевой ввод. Описание, которое побуждает пользователя ввести речь, такое как показанное в зоне 832, отображается на экране 803, и ожидается речевой ввод, производимый пользователем. Если пользователь касается области 831 отображения взаимодействия, или завершает речевой ввод, или касается кнопки 833 отмены, ЦП 401 возвращает экран отображения к экрану 801.

[0052] Если происходит касание кнопки (значка) 815 выбора файла на экране 801, ЦП 401 переключает отображаемый экран на экран 804, чтобы начать выбор файла. На экране 804 файл, который должен быть напечатан, может быть выбран в нижней половине экрана. Если происходит касание печатаемых данных (файл изображения, файл PDF и т.д.), отображаемых в зоне 843, ЦП 401 отображает печатаемые данные (например, значок 845), которые должны быть переданы, в текстовом поле 844. В процессе этого выбора может быть выбрано множество фрагментов данных, и дополнительно выбранное изображение добавляется с правой стороны в текстовом поле 844. Следует отметить, что, если в этом состоянии происходит касание текстового поля 844, ЦП 401 переключает отображаемый экран на экран 802, и пользователь может удалить значок 845 отображаемых печатаемых данных из объектов, которые должны быть напечатаны, стерев этот значок с помощью кнопки BS (backspace). Если происходит касание кнопки 842 отправки, ЦП 401 передает выбранные печатаемые данные в информационное устройство, с которым ЦП 401 взаимодействует (в данном случае на сторону МФУ; непосредственно на сервер 103 интерпретации намерений). Если при отображении экрана 804 происходит касание области 841 отображения взаимодействия, или выбор файла завершен и печатаемые данные переданы, ЦП 401 возвращает экран к экрану 801.

Сценарий взаимодействия

[0053] Далее со ссылкой на Фиг. 9 будет описана иллюстративная последовательность операций взаимодействия пользователя со стороной МФУ через посредство беспроводного терминала 102 и с использованием предварительно заданного МФУ. Обработка, выполняемая каждым устройством, полностью управляется ЦП устройства.

[0054] На этапе S901 беспроводной терминал 102 передает на сервер 103 интерпретации намерений пользовательский ввод, указывающий "напечатать". Сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка для интерпретации намерения, и определяется, что этим намерением является "напечатать" (S604). На этапе S902 сервер 103 интерпретации намерений передает намерение "напечатать" на сервер 104 администрирования МФУ. В этот момент, согласно блок-схеме последовательности операций на Фиг. 7, МФУ, которое будет использоваться, не было определено, и, таким образом, на этапе S903 сервер 104 администрирования МФУ передает запрос переключения намерений (S710) на сервер 103 интерпретации намерений.

[0055] В ответ, на этапе S904, сервер 103 интерпретации намерений представляет вопрос: "Для чего?" на беспроводном терминале 102. В ответ, на этапе S905, беспроводной терминал 102 принимает пользовательский ввод, указывающий "цветная печать для внутренней презентации", и уведомляет сервер 103 интерпретации намерений о пользовательском вводе. На этапе S906 сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка для интерпретации намерения и передает интерпретированное намерение и параметры на сервер 104 администрирования МФУ (S604). В этот момент сохраненные данные, в которых намерение: "выбор печатающего устройства"; Цвет (Обязательный Параметр): Включено; и Сшивание (Необязательный Параметр): Включено передаются на сервер 104 администрирования МФУ.

[0056] Затем, на этапе S907, сервер 104 администрирования МФУ генерирует список, в котором преимущественно перечислены печатающие устройства, которые отвечают всем Обязательным параметрам, а также отвечают многим Необязательным параметрам, и возвращает сгенерированный список на сервер 103 интерпретации намерений (S708). На этапе S908 сервер 103 интерпретации намерений представляет список доступных МФУ на беспроводном терминале 102 в такой форме, как "список доступных печатающих устройств [1] [2] [3]".

[0057] После этого, на этапе S909, беспроводной терминал 102 уведомляет сервер 103 интерпретации намерений о пользовательском вводе, указывающем "использовать [2]", т.е. о желаемом устройстве формирования изображений, выбранном пользователем. Вслед за этим, на этапе S910, сервер 103 интерпретации намерений выполняет распознавание речи и обработку языка, чтобы интерпретировать намерение, намерение переключается, и сервер 103 интерпретации намерений передает намерение "подготовить печать" на сервер 104 администрирования МФУ (S604).

[0058] На этапе S911 сервер 104 администрирования МФУ выдает команду запуска беспроводной связи P2P с целевым МФУ в соответствии с блок-схемой последовательности операций на Фиг. 7 (S706). В ответ целевое МФУ (в данном случае МФУ 101) готовится выполнить беспроводное p2P-соединение, и возвращает, на этапе S912, информацию о соединении (SSID/PassPhrase) для беспроводного P2P-соединения на сервер 104 администрирования МФУ. На этапе S913 эта информация о соединении доставляется с сервера 104 администрирования МФУ на беспроводной терминал 102 через сервер 103 интерпретации намерений. На этапе S914 беспроводной терминал 102 устанавливает беспроводное соединение с МФУ 101 в соответствии с доставленной информацией о соединении и наконец инициирует выполнение задания печати, используя это беспроводное соединение.

[0059] Как описано выше, беспроводной терминал в соответствии с этим вариантом осуществления принимает пользовательский ввод с помощью речи или текста, уведомляет сервер о принятом пользовательском вводе, получает от сервера вопрос, касающийся пользовательского ввода, и представляет полученный вопрос пользователю. Таким образом, беспроводной терминал позволяет пользователю и серверу взаимодействовать друг с другом. Беспроводной терминал принимает от сервера список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое было интерпретировано сервером на основе взаимодействия, и отображает принятый список. Кроме того, если желаемое устройство формирования изображений выбирается пользователем из списка, беспроводной терминал получает от сервера информацию о соединении, а именно информацию, касающуюся соединения с этим устройством формирования изображений, осуществляет доступ к устройству формирования изображений и инициирует выполнение задания печати или тому подобное. Сервер администрирования в соответствии с этим вариантом осуществления имеет базу данных печатающих устройств, которая вмещает таблицу информации о печатающих устройствах, которая задает пользователей и одно или несколько доступных устройств формирования изображений, соотнесенных друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений. Кроме того, сервер администрирования генерирует список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое было интерпретировано сервером интерпретации намерений, с привязкой к базе данных печатающих устройств, и предоставляет сгенерированный список. Сервер интерпретации намерений в соответствии с этим вариантом осуществления принимает пользовательский ввод с помощью речи или текста от беспроводного терминала, выполняет распознавание речи, если принятый пользовательский ввод является речью, и выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста. Кроме этого сервер интерпретации намерений имеет базу данных намерений, которая вмещает множество намерений и один или несколько параметров для каждого из намерений, соотнесенных друг с другом. Кроме того, сервер интерпретации намерений интерпретирует намерение пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представляет дополнительный вопрос на беспроводном терминале, если намерение не может быть интерпретировано. Таким образом, в соответствии с этим вариантом осуществления, намерение пользователя получается в интерактивном режиме, не требуя от пользователя выполнения сложных операций, и может быть представлено устройство, функция, или тому подобное, которое подходит для намерения пользователя.

Другие варианты осуществления

[0060] Настоящее изобретение также может быть реализовано посредством обработки, с помощью которой программа, которая реализует одну или несколько функций из вышеописанных вариантов осуществления, поставляется в систему или устройство через сеть или носитель данных, а одно или несколько обрабатывающих устройств вычислительного устройства в этой системе или устройстве загружает и исполняет программу. Настоящее изобретение также может быть реализовано посредством схемы (например, СИС), которая реализует один или несколько функциональных элементов.

[0061] Настоящее изобретение не ограничивается вышеописанными вариантами осуществления, и различные изменения и модификации могут быть произведены в пределах сущности и объема настоящего изобретения. Поэтому, чтобы предоставить для публичного ознакомления объем настоящего изобретения, подготовлена нижеследующая формула изобретения.

[0062] Настоящая заявка претендует на приоритет по отношению к заявке на патент Японии Номер 2017-242878, зарегистрированной 19 декабря 2017 г., которая тем самым включается в настоящую заявку путем ссылки.

Изобретение относится к области компьютерной техники. Техническим результатом является обеспечение возможности в интерактивном режиме получать намерение пользователя, не требуя от пользователя выполнения сложных операций. Беспроводной терминал в соответствии с вариантом осуществления принимает пользовательский ввод с помощью речи или текста, уведомляет сервер о принятом пользовательском вводе, и предоставляет возможность пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю. Кроме этого беспроводной терминал принимает от сервера список из одного или нескольких устройств формирования изображений, которые удовлетворяют намерению пользователя, которое интерпретируется сервером на основе взаимодействия посредством взаимодействия, и отображает принятый список. 3 н. и 8 з.п. ф-лы, 3 табл., 10 ил.

1. Беспроводной терминал с возможностью осуществления связи с устройством формирования изображений и сервером,

причем беспроводной терминал отличается тем, что содержит:

средство взаимодействия для принятия пользовательского ввода с помощью речи или текста, уведомления сервера о принятом пользовательском вводе, а также предоставления возможности пользователю и серверу взаимодействовать друг с другом путем получения от сервера вопроса, касающегося пользовательского ввода, и представления полученного вопроса пользователю;

средство приема для приема от сервера списка из одного или нескольких устройств формирования изображений, которые могут выполнить намерение пользователя, которое интерпретируется сервером на основе взаимодействия через средство взаимодействия;

средство отображения для отображения списка, принятого средством приема.

2. Беспроводной терминал по п. 1, отличающийся тем, что дополнительно содержит:

средство получения для получения от сервера информации о соединении, которая является информацией, касающейся соединения с желаемым устройством формирования изображений, выбранным в результате пользовательского ввода через посредство списка, отображаемого на средстве отображения;

средство соединения для беспроводного соединения с желаемым устройством формирования изображений и инициирования выполнения задания с использованием информации о соединении, полученной средством получения.

3. Беспроводной терминал по п. 1 или 2, отличающийся тем, что

средство отображения дополнительно отображает, во временных рядах, взаимодействие между пользователем и сервером через средство взаимодействия.

4. Беспроводной терминал по п. 3, отличающийся тем, что

средство отображения дополнительно отображает на экране, отображающем взаимодействие, по меньшей мере одно из следующего: значок для начала речевого ввода, поле для начала текстового ввода, значок для начала выбора данных изображения, которые должны быть переданы в устройство формирования изображений, и значок, отображающий пользовательский ввод, для уведомления сервера о пользовательском вводе.

5. Беспроводной терминал по п. 1, отличающийся тем, что

сервер включает в себя сервер интерпретации намерений, который интерпретирует намерение пользователя в соответствии с пользовательским вводом, и сервер администрирования, который администрирует одно или несколько устройств формирования изображений,

сервер интерпретации намерений включает в себя:

механизм распознавания речи, который выполняет распознавание речи в случае, когда пользовательский ввод является речью;

механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста;

базу данных намерений, которая хранит множество намерений и один или несколько параметров для каждого из намерений соотнесенными друг с другом; и

средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале в случае, когда намерение пользователя не может быть интерпретировано, и

сервер администрирования включает в себя:

базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений соотнесенными друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений; и

средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые могут выполнять намерение пользователя, интерпретированное сервером интерпретации намерений, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.

6. Беспроводной терминал по п. 5, отличающийся тем, что

параметры включают в себя первый параметр, включение которого требуется в пользовательский ввод для интерпретации пользовательского ввода как имеющего соответствующее намерение, и второй параметр, который является необязательным параметром.

7. Беспроводной терминал по п. 6, отличающийся тем, что

средство интерпретации намерения представляет дополнительный вопрос на беспроводном терминале в случае, когда первый параметр не включен в пользовательский ввод.

8. Беспроводной терминал по п. 5 или 6, отличающийся тем, что

средство предоставления проверяет связь с устройством формирования изображений, нужным пользователю в случае, когда намерение пользователя, интерпретируемое сервером интерпретации намерений, требует связи с устройством формирования изображений.

9. Сервер администрирования с возможностью осуществления связи с сервером интерпретации намерений, который интерпретирует намерение пользователя беспроводного терминала в соответствии с пользовательским вводом, произведенным пользователем, и одним или несколькими устройствами формирования изображений, при этом сервер администрирования отличается тем, что содержит:

базу данных печатающих устройств, хранящую таблицу информации о печатающих устройствах, которая задает пользователя и одно или несколько доступных устройств формирования изображений соотнесенными друг с другом, и таблицу информации о функциональных возможностях печатающих устройств, которая задает информацию о функциональных возможностях, относящихся к устройствам формирования изображений;

средство приема для приема намерения пользователя, интерпретируемого сервером интерпретации намерений; и

средство предоставления для генерирования списка из одного или нескольких устройств формирования изображений, которые могут выполнять намерение, принятое средством приема, с привязкой к базе данных печатающих устройств, и предоставления сгенерированного списка.

10. Сервер администрирования по п. 9, отличающийся тем, что

средство предоставления

проверяет связь с желаемым устройством формирования изображений, выбранным пользователем из списка, и

предоставляет, в случае успешной проверки связи, информацию о соединении для соединения с желаемым устройством формирования изображений на беспроводной терминал посредством сервера интерпретации намерений.

11. Сервер интерпретации намерений с возможностью осуществления связи с сервером администрирования и беспроводным терминалом, при этом сервер интерпретации намерений отличается тем, что содержит:

средство приема для приема пользовательского ввода с помощью речи или текста от беспроводного терминала;

механизм распознавания речи, который выполняет распознавание речи в случае, когда пользовательский ввод, принятый средством приема, является речью;

механизм обработки языка, который выполняет обработку языка для пользовательского ввода, который прошел распознавание речи посредством механизма распознавания речи, или пользовательского ввода с помощью текста;

базу данных намерений, хранящую множество намерений и один или несколько параметров для каждого из намерений соотнесенными друг с другом;

средство интерпретации намерения для интерпретации намерения пользователя в соответствии с пользовательским вводом, который прошел обработку языка посредством механизма обработки языка, и информацией, находящейся в базе данных намерений, и представления дополнительного вопроса на беспроводном терминале в случае, когда намерение пользователя не может быть интерпретировано.