СИСТЕМА АВТОМАТИЧЕСКОЙ УБОРКИ, РОБОТ-УБОРЩИК И СПОСОБ УПРАВЛЕНИЯ РОБОТОМ-УБОРЩИКОМ Российский патент 2017 года по МПК A47L9/00 

Область техники, к которой относится изобретение

[1] Следующее описание относится к роботу-уборщику и, в частности, к роботу-уборщику, который определяет ограниченную зону и зону концентрированной уборки робота-уборщика путем обнаружения движения пользователя.

Уровень техники

[2] Робот-уборщик является устройством, которое передвигается по пространству, которое должно быть убрано, для автоматической уборки пространства, которое должно быть убрано, путем засасывания инородных тел, включающих в себя пыль, с пола без манипуляций пользователя. То есть робот-уборщик осуществляет уборку пространства, которое должно быть убрано, во время передвижения в пространстве, которое должно быть убрано.

[3] Для робота-уборщика согласно уровню техники лента препятствования входу прикрепляется к полу в отношении ограниченной зоны, в которую роботу-уборщику запрещен вход, такой как лестница или веранда. Однако установление ограниченной зоны робота-уборщика с использованием ленты препятствования входу, таким образом, порождает дискомфорт и неудобство прикрепления и повторного прикрепления ленты препятствования входу пользователем, когда пользователь хочет изменить ограниченную зону.

[4] Кроме того, в роботе-уборщике согласно уровню техники, когда существует зона, которая должна быть более тщательно убрана или быть убрана в первую очередь пользователем, существуют неудобства в том, что роботом-уборщиком необходимо вручную манипулировать, и он должен быть перемещен в зону, которая должна быть более тщательно убрана или быть убрана в первую очередь пользователем, и затем инструкции концентрированной уборки должны быть даны роботу-уборщику.

Раскрытие изобретения

Техническая проблема

[5] Аспектом настоящего раскрытия является обеспечение робота-уборщика, который имеет возможность определения ограниченной зоны и зоны концентрированной уборки робота-уборщика путем обнаружения голоса или движения пользователя или в котором ограниченная зона и зона концентрированной уборки могут быть легко установлены с использованием портативного мобильного терминала.

[6] Дополнительные аспекты раскрытия будут частично изложены в описании, которое следует далее, и частично будут очевидны из описания или могут быть поняты путем применения раскрытия на практике.

Решение проблемы

[7] В соответствии с одним аспектом настоящего раскрытия обеспечен робот-уборщик, который выполняет уборку во время передвижения в пространстве, которое должно быть убрано, причем робот-уборщик включает в себя: блок передвижения, который обеспечивает перемещение робота-уборщика; блок уборки, который обеспечивает уборку пространства, которое должно быть убрано; блок захвата изображения, который захватывает изображение, видимое от робота-уборщика; блок голосового ввода, в который вводятся голосовые инструкции пользователя; и средство управления, которое получает инструкции движения пользователя через блок захвата изображения, когда голосовые инструкции пользователя вводятся через блок голосового ввода, и определяет ограниченную зону и/или зону концентрированной уборки на основе инструкций движения пользователя.

[8] Блок голосового ввода может включать в себя по меньшей мере три микрофона, в которые вводятся голосовые инструкции пользователя.

[9] Средство управления может оценивать позицию пользователя на основе разницы во времени, в которое голосовые инструкции пользователя вводятся в по меньшей мере три микрофона.

[10] Средство управления может управлять блоком передвижения для вращения робота-уборщика так, чтобы блок захвата изображения был направлен в сторону позиции пользователя.

[11] Блок захвата изображения может включать в себя камеру, которая захватывает двухмерное изображение пользователя, и инфракрасный датчик, который получает информацию расстояния пользователя, захваченного камерой.

[12] Средство управления может обнаруживать движение пользователя на основе изображения пользователя, захваченного блоком захвата изображения, и информации расстояния пользователя, полученной блоком захвата изображения.

[13] Средство управления может обнаруживать руку и плечо пользователя с изображения пользователя и может определять координаты руки и плеча пользователя на основе информации расстояния пользователя.

[14] Средство управления может определять зону, инструкцию о которой дал пользователь, на основе координат руки и плеча пользователя и может определять зону, инструкцию о которой дал пользователь, в качестве ограниченной зоны и/или зоны концентрированной уборки.

[15] В соответствии с другим аспектом настоящего раскрытия обеспечен способ управления роботом-уборщиком, который выполняет уборку во время передвижения около пространства, которое должно быть убрано, причем способ включает в себя: когда голосовые инструкции вводятся от пользователя, получение изображения пользователя; получение движения пользователя на основе изображения; определение ограниченной зоны, в которую вход робота-уборщика запрещен, и/или зоны концентрированной уборки, которая должна быть тщательно убрана роботом-уборщиком, на основе голосовых инструкций пользователя и изображения пользователя.

[16] Получение изображения может включать в себя: определение позиции пользователя на основе разницы во времени, в которое голосовые инструкции пользователя вводятся в множество микрофонов; вращение робота-уборщика в направлении позиции пользователя; получение изображения пользователя; излучение инфракрасных лучей в направлении пользователя; и получение информации расстояния пользователя на основе инфракрасных лучей, отраженных от пользователя.

[17] Получение движения пользователя может включать в себя: обнаружение руки и плеча пользователя с изображения пользователя; и определение координат руки и плеча пользователя с использованием информации расстояния пользователя.

[18] Определение ограниченной зоны и/или зоны концентрированной уборки может включать в себя: определение зоны, инструкцию о которой дал пользователь, на основе координат руки и плеча пользователя; и определение зоны, инструкцию о которой дал пользователь, в качестве ограниченной зоны и/или зоны концентрированной уборки.

[19] Способ может дополнительно включать в себя: отображение изображения пространства, которое должно быть убрано; и прием ограниченной зоны и/или зоны концентрированной уборки от пользователя в отношении изображения пространства, которое должно быть убрано.

[20] Способ может дополнительно включать в себя определение координат зоны концентрированной уборки и/или ограниченной зоны в пространстве, которое должно быть убрано, на основе координат зоны концентрированной уборки и/или ограниченной зоны, введенных в отношении изображения пространства, которое должно быть убрано.

[21] Способ может дополнительно включать в себя отображение изображения ограниченной зоны и/или зоны концентрированной уборки поверх изображения пространства, которое должно быть убрано.

[22] В соответствии с еще одним аспектом настоящего раскрытия система автоматической уборки включает в себя: робот-уборщик, который выполняет уборку во время передвижения около пространства, которое должно быть убрано; и портативный мобильный терминал, который управляет роботом-уборщиком удаленным образом, причем, когда входные инструкции зоны концентрированной уборки и/или входные инструкции ограниченной зоны вводятся от пользователя, робот-уборщик захватывает изображение пространства, которое должно быть убрано, и передает изображение пространства, которое должно быть убрано, портативному мобильному терминалу, и когда изображение пространства, которое должно быть убрано, принимается, портативный мобильный терминал отображает изображение пространства, которое должно быть убрано, и принимает зону концентрированной уборки и/или ограниченную зону от пользователя.

[23] Робот-уборщик может включать в себя блок захвата изображения, который захватывает изображение пространства, которое должно быть убрано, и принимает инструкции движения пользователя, и блок голосового ввода, который принимает голосовые инструкции пользователя, и робот-уборщик может определять ограниченную зону и/или зону концентрированной уборки на основе голосовых инструкций, введенных через блок голосового ввода, и инструкций движения, введенных через блок захвата изображения.

[24] Когда голосовые инструкции вводятся через блок голосового ввода, робот-уборщик может вращаться в направлении пользователя и может принимать инструкции движения через блок захвата изображения.

[25] Портативный мобильный терминал может включать в себя сенсорную экранную панель, на которой изображение пространства, которое должно быть убрано, отображается и инструкции манипуляции принимаются от пользователя, и когда зона концентрированной уборки и/или ограниченная зона вводится посредством сенсорной экранной панели, зона концентрированной уборки и/или ограниченная зона может наложенным образом отображаться на изображении пространства, которое должно быть убрано, посредством сенсорной экранной панели.

[26] Портативный мобильный терминал может определять абсолютные координаты в пространстве, которое должно быть убрано, которые соответствуют зоне концентрированной уборки и/или ограниченной зоне.

[27] Портативный мобильный терминал может определять координаты зоны концентрированной уборки и/или ограниченная зона на изображении с сенсорной экранной панели, может определять относительные координаты зоны концентрированной уборки и/или ограниченной зоны, в которых робот-уборщик устанавливается в качестве начала координат, на основе координат на изображении, и может определять абсолютные координаты зоны концентрированной уборки и/или ограниченной зоны в пространстве, которое должно быть убрано, на основе относительных координат и позиции робота-уборщика.

[28] Согласно роботу-уборщику в соответствии с одним аспектом настоящего раскрытия, робот-уборщик может принимать ограниченную зону и зону концентрированной уборки посредством голоса и движения пользователя.

[29] Согласно роботу-уборщику в соответствии с другим аспектом настоящего раскрытия, робот-уборщик может принимать ограниченную зону и зону концентрированной уборки путем всего лишь простой манипуляции посредством портативного мобильного терминала пользователя.

Полезные эффекты изобретения

[30] Согласно одному аспекту одного или нескольких примерных вариантов осуществления, возможно обеспечение робота-уборщика, который имеет возможность определения ограниченной зоны и зоны концентрированной уборки робота-уборщика путем обнаружения голоса или движения пользователя или в котором ограниченная зона и зона концентрированной уборки могут быть легко установлены с использованием портативного мобильного терминала.

Краткое описание чертежей

[31] Эти и/или другие аспекты раскрытия станут очевидны и легче понимаемы из последующего описания вариантов осуществления, воспринимаемого в сочетании с сопроводительными чертежами, где:

[32] фиг.1 схематически изображает робот-уборщик и портативный мобильный терминал в соответствии с вариантом осуществления настоящего раскрытия;

[33] фиг.2A изображает структурную схему потока управления робота-уборщика, изображенного на фиг.1;

[34] фиг.2B изображает структурную схему, иллюстрирующую конфигурацию средства управления робота-уборщика с фиг.1;

[35] фиг.3 изображает вид в перспективе, иллюстрирующий внешнюю часть робота-уборщика с фиг.1;

[36] фиг.4 изображает вид снизу, иллюстрирующий нижнюю часть робота-уборщика с фиг.1;

[37] фиг.5 изображает структурную схему, иллюстрирующую поток управления портативного мобильного терминала, изображенного на фиг.1;

[38] фиг.6 изображает вид в перспективе, иллюстрирующий внешнюю часть портативного мобильного терминала с фиг.1;

[39] фиг.7 изображает случай, в котором робот-уборщик с фиг.1 принимает голосовые инструкции от пользователя;

[40] фиг.8A, 8B и 8C изображают случай, в котором робот-уборщик с фиг.1 определяет позицию пользователя через голосовые инструкции пользователя;

[41] фиг.9 изображает случай, в котором робот-уборщик с фиг.1 получает изображение и голос пользователя;

[42] фиг.10A и 10B и фиг.11A и 11B изображают случай, в котором робот-уборщик с фиг.1 определяет координаты зоны, инструкцию о которой дал пользователь, с изображения пользователя;

[43] фиг.12 изображает случай, в котором робот-уборщик с фиг.1 передает изображение пользователя и изображение пространства, которое должно быть убрано, и информацию, касающуюся зоны, инструкцию о которой дал пользователь, портативному мобильному терминалу;

[44] фиг.13 изображает случай, в котором робот-уборщик с фиг.1 и портативный мобильный терминал с фиг.1 отображают изображение пространства, которое должно быть убрано, и информацию, касающуюся зоны, инструкцию о которой дал пользователь;

[45] фиг.14 изображает случай, в котором информация, касающаяся зоны концентрированной уборки, вводится в портативный мобильный терминал с фиг.1;

[46] фиг.15 и 16 изображают случай, в котором информация, касающаяся ограниченной зоны, вводится в портативный мобильный терминал с фиг.1;

[47] фиг.17 изображает экран, на котором портативный мобильный терминал с фиг.1 отображает зону концентрированной уборки и ограниченную зону;

[48] фиг.18 изображает блок-схему, иллюстрирующую способ ввода и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала с фиг.1 в соответствии с вариантом осуществления настоящего раскрытия;

[49] фиг.19 изображает случай, в котором робот-уборщик с фиг.1 принимает инструкции манипуляции от пользователя через портативный мобильный терминал;

[50] фиг.20 изображает экран, на котором информация, касающаяся зоны концентрированной уборки, вводится через портативный мобильный терминал с фиг.1;

[51] фиг.21 и 22 изображают экран, на котором информация, касающаяся ограниченной зоны, вводится через портативный мобильный терминал с фиг.1;

[52] фиг.23 изображает экран, на котором портативный мобильный терминал с фиг.1 отображает зону концентрированной уборки и ограниченную зону; и

[53] фиг.24 изображает блок-схему, иллюстрирующую способ введения и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала с фиг.1 в соответствии с другим вариантом осуществления настоящего раскрытия.

Предпочтительный вариант осуществления изобретения

[54] Конфигурации, показанные в одном или нескольких вариантах осуществления и на чертежах настоящего раскрытия, являются лишь примерными вариантами осуществления раскрываемого раскрытия, и следует понимать, что существуют различные модифицированные примеры, которые могут заменить варианты осуществления и чертежи настоящего раскрытия во время подачи настоящей заявки.

[55] Теперь будет подробно сделана ссылка на один или несколько вариантов осуществления настоящего раскрытия, примеры которых иллюстрируются на сопроводительных чертежах, причем подобные ссылочные позиции относятся к подобным компонентам во всей работе.

[56] Фиг.1 схематически изображает робот-уборщик и портативный мобильный терминал в соответствии с вариантом осуществления настоящего раскрытия.

[57] Робот-уборщик 100, изображенный на фиг.1, является устройством, которое счищает пыль с пола во время передвижения в пространстве, которое должно быть убрано, без манипуляции пользователя. Кроме того, робот-уборщик 100 принимает инструкции манипуляции от пользователя U, такие как движение или голос пользователя, и выполняет уборку согласно инструкциям манипуляции пользователя.

[58] Подробно, робот-уборщик 100 захватывает изображение, включающее в себя пользователя U и пространство, которое должно быть убрано, с использованием блока захвата изображения, такого как камера или видеокамера, и анализирует движение пользователя, включенного в захваченное изображение, с целью обнаружения инструкций манипуляции, которые в качестве инструкций дал пользователь U. Изображение может включать в себя другие объекты, такие как диван S и стол T. Когда инструкции манипуляции пользователя U обнаруживаются, робот-уборщик 100 осуществляет уборку в пространстве, которое должно быть убрано, согласно обнаруженным инструкциям манипуляции. Кроме того, робот-уборщик 100 передает захваченное изображение и обнаруженные инструкции манипуляции портативному мобильному терминалу 200 пользователя U так, чтобы пользователь U мог проверять операцию робота-уборщика 100. Дополнительно, пользователь U может проверять операцию робота-уборщика 100 посредством портативного мобильного терминала 200 и может вводить инструкции манипуляции для робота-уборщика 100 посредством портативного мобильного терминала 200.

[59] Фиг.2A изображает структурную схему потока управления робота-уборщика, изображенного на фиг.1, фиг.2B изображает структурную схему, иллюстрирующую конфигурацию средства управления робота-уборщика с фиг.1, фиг.3 изображает вид в перспективе, иллюстрирующий внешнюю часть робота-уборщика с фиг.1, и фиг.4 изображает вид снизу, иллюстрирующий нижнюю часть робота-уборщика с фиг.1.

[60] Со ссылкой на фиг.2A-4, робот-уборщик 100 включает в себя блок 110 манипуляции, который принимает инструкции манипуляции для робота-уборщика 100 от пользователя U, блок 115 отображения, который отображает информацию, включающую в себя операционную информацию робота-уборщика 100, пользователю U, блок 120 восходящего захвата изображения, который захватывает изображение в восходящем направлении от робота-уборщика 100, блок 130 захвата изображения, который захватывает изображение, видимое от робота-уборщика 100, блок 140 голосового ввода, который принимает голосовые инструкции пользователя, блок 150 обнаружения препятствия, который обнаруживает препятствие в пространстве, которое должно быть убрано, блок 160 передвижения, который обеспечивает перемещение робота-уборщика 100, блок 170 уборки, который обеспечивает уборку пространства, которое должно быть убрано, блок 180 хранения робота, который хранит программы и данные для операции робота-уборщика 100, блок 185 связи робота, который осуществляет связь с портативным мобильным терминалом (см. 200 с фиг.1), и средство 190 управления роботом, которое управляет операцией робота-уборщика 100.

[61] Блок 110 манипуляции может включать в себя одну или несколько кнопок 111 манипуляции, через которые инструкции манипуляции для робота-уборщика 100 вводятся от пользователя U. Кнопки 111 манипуляции могут включать в себя кнопку выбора режима уборки для выбора режима уборки робота-уборщика 100, кнопку инструкции операции/остановки для инструктирования операции и остановки робота-уборщика 100, и кнопку инструкции возврата на зарядку для инструктирования возврата на загрузочную станцию (не показана). В качестве дополнения к кнопкам 111 манипуляции, другие типы пользовательского интерфейса, такие как простая кнопка, мембранный переключатель или сенсорный экран, могут быть задействованы.

[62] Блок 115 отображения включает в себя панель 116 отображения, на которой информация, включающая в себя операционную информацию робота-уборщика 100, отображается пользователю U. Операционная информация робота-уборщика 100, включающая в себя текущее время, состояние аккумулятора и режим уборки, может отображаться на панели 116 отображения. В качестве панели 116 отображения панель жидкокристаллического дисплея (LCD) или панель светоизлучающих диодов (LED) может быть задействована.

[63] Блок 120 восходящего захвата изображения может включать в себя двухмерную камеру 121, которая расположена на верхней поверхности 101 робота-уборщика 100 и захватывает изображение в восходящем направлении от робота-уборщика 100, т. е. изображение потолка пространства, которое должно быть убрано. Дополнительно, блок 120 восходящего захвата изображения может включать в себя графический процессор (не показан), который обрабатывает изображение, захваченное двухмерной камерой 121, при необходимости. Графический процессор (не показан) может выполнять простую обработку изображений, такую как изменение размера или разрешения изображения, захваченного двухмерной камерой 121.

[64] Блок 130 захвата изображения может включать в себя трехмерную камеру 131, которая расположена на передней части робота-уборщика 100 и захватывает трехмерное изображение, видимое от робота-уборщика 100. Трехмерное изображение включает в себя информацию, касающуюся расстояния от двухмерного изображения объекта, который должен быть захвачен, до объекта, который должен быть захвачен. В качестве трехмерной камеры 131 может быть задействован модуль стереокамеры или модуль датчика удаленности.

[65] Модуль стереокамеры включает в себя множество двухмерных камер и определяет информацию расстояния, касающуюся объекта, который должен быть захвачен, с использованием разницы между изображениями, захваченными множеством двухмерных камер. Кроме того, модуль стереокамеры выводит информацию, касающуюся расстояния между одним из изображений, захваченных множеством двухмерных камер, и объектом, который должен быть захвачен.

[66] Модуль датчика удаленности включает в себя двухмерную камеру, которая захватывает изображение объекта, который должен быть захвачен, и инфракрасный датчик, который излучает инфракрасные лучи в сторону объекта, который должен быть захвачен, и обнаруживает размер инфракрасных лучей, отраженных от объекта, который должен быть захвачен, тем самым измеряя расстояние до объекта, который должен быть захвачен, на двухмерном изображении. Кроме того, модуль датчика удаленности выводит изображение, захваченное двухмерной камерой, и информацию расстояния, полученную инфракрасным датчиком.

[67] Блок 130 захвата изображения может дополнительно включать в себя графический процессор, который обрабатывает трехмерное изображение, захваченное трехмерной камерой 131, при необходимости.

[68] Блок 140 голосового ввода включает в себя множество микрофонов 141, 143 и 145, которые получают голос пользователя и определяют направление пользователя U. Подробно, блок 140 голосового ввода включает в себя передний микрофон 141, расположенный на передней части верхней поверхности робота-уборщика 100, левый микрофон 143, расположенный на левой части верхней поверхности робота-уборщика 100, и правый микрофон 145, расположенный на правой части верхней поверхности робота-уборщика 100. Эти микрофоны 141, 143 и 145 преобразуют сигналы голоса пользователя в электрические сигналы и выводят электрические сигналы. В этом случае микрофоны 141, 143 и 145 могут определять направление пользователя U с использованием, например, разницы во времени, в которое сигналы голоса пользователя вводятся в три микрофона 141, 143 и 145, и амплитуд голосовых сигналов.

[69] Блок 150 обнаружения препятствия включает в себя множество инфракрасных датчиков 151, которые излучают инфракрасные лучи и измеряют размер инфракрасных лучей, отраженных от препятствия, тем самым определяя присутствие препятствия и расстояние от препятствия до объекта, который должен быть захвачен. Множество инфракрасных датчиков 151 может быть установлено на передней части, правой части и левой части робота-уборщика 100 на равных интервалах, тем самым определяя позицию препятствия. То есть когда инфракрасный датчик 151, помещенный на передней части робота-уборщика 100, обнаруживает препятствие, может быть определено, что препятствие присутствует на передней части робота-уборщика 100, и когда инфракрасный датчик 151, помещенный на правой части робота-уборщика 100, обнаруживает препятствие, может быть определено, что препятствие присутствует на правой части робота-уборщика 100.

[70] Блок 160 передвижения включает в себя множество колес 161 и 163 передвижения, которые перемещают робот-уборщик 100, и барабан 165, который способствует перемещению робота-уборщика 100.

[71] Множество колес 161 и 163 передвижения расположено в правой и левой граничных частях нижней поверхности робота-уборщика 100 так, чтобы робот-уборщик 100 мог перемещаться вперед или назад или мог вращаться. Например, когда множество колес 161 и 163 передвижения вращается вперед, робот-уборщик 100 перемещается вперед, а когда множество колес 161 и 163 передвижения вращается назад, робот-уборщик 100 перемещается назад. Кроме того, когда множество колес 161 и 163 передвижения вращается в различных направлениях, робот-уборщик 100 может вращаться влево или вправо на месте.

[72] Барабан 165 установлен в передней части нижней поверхности робота-уборщика 100 и вращается согласно направлению перемещения робота-уборщика 100. Кроме того, барабан 165 может обеспечивать возможность роботу-уборщику 100 оставаться в устойчивой позиции.

[73] Блок 170 уборки включает в себя главную щетку 171, которая рассеивает пыль в пространстве, которое должно быть убрано, множество боковых щеток 173a и 173b, которые направляют пыль в пространстве, которое должно быть убрано, в сторону главной щетки 171, и пылеуловительную камеру 175, которая всасывает и удерживает пыль, рассеянную главной щеткой 171.

[74] Главная щетка 171 расположена у отверстия 103 всасывания пыли, сформированного в нижней поверхности робота-уборщика 100. Кроме того, главная щетка 171 рассеивает пыль в пространстве, которое должно быть убрано, в отверстие 103 всасывания пыли во время вращения вокруг стержня вращения, параллельного роботу-уборщику 100.

[75] Множество боковых щеток 173a и 173b установлено в левой и правой граничных частях передней стороны нижней поверхности робота-уборщика 100. То есть боковые щетки 173a и 173b установлены приблизительно спереди от множества колес 161 и 163 перемещения. Боковые щетки 173a и 173b сметают пыль в зоне уборки, которая не может быть очищена главной щеткой 171, и направляют пыль в сторону главной щетки 171 во время вращения вокруг стержня вращения, перпендикулярного роботу-уборщику 100. Кроме того, боковые щетки 173a и 173b не только могут вращаться на месте, но также установлены так, чтобы выступать в сторону внешней части робота-уборщика 100 так, чтобы зона, которая должна быть убрана роботом-уборщиком 100, могла быть увеличена.

[76] Блок 180 хранения робота может включать в себя энергонезависимую память (не показана), такую как магнитный диск или твердотельный диск, в котором управляющая программа или управляющие данные для управления операцией робота-уборщика 100 сохранены постоянным образом, и энергозависимую память (не показана), такую как динамическая оперативная память (D-RAM) или статическая оперативная память (S-RAM), в которой временные данные, генерируемые, когда осуществляется управление операцией робота-уборщика 100, временно сохраняются.

[77] Блок 185 связи робота может включать в себя модуль беспроводной связи (не показан), который выполняет беспроводную связь с портативным мобильным терминалом (см. 200 с фиг.1) или станцией зарядки (не показана) с использованием способа беспроводной связи, такого как беспроводная достоверность (Wi-Fi), Bluetooth, Zigbee или связь ближнего поля (NFC).

[78] Средство 190 управления роботом включает в себя модуль 191 распознавания голоса, который обнаруживает инструкции манипуляции пользователя посредством голоса пользователя на основе сигналов голоса пользователя, полученных блоком 140 голосового ввода, модуль 193 распознавания движения, который обнаруживает инструкции манипуляции пользователя согласно движению пользователя на основе трехмерного изображения, захваченного блоком 130 захвата изображения, и главный модуль 195 управления, который управляет операцией робота-уборщика 100 согласно инструкциям манипуляции пользователя.

[79] Модуль 191 распознавания голоса обнаруживает инструкции манипуляции пользователя путем сравнения голосовых инструкций, сохраненных согласно различным инструкциям манипуляции, с голосовыми инструкциями, введенными блоком 140 голосового ввода. Здесь робот-уборщик 100 может ранее принять голосовые инструкции, соответствующие инструкциям манипуляции, от пользователя U и может сохранять голосовые инструкции с целью улучшения вероятности того, что модуль 191 распознавания голоса распознает голосовые инструкции пользователя.

[80] Модуль 193 распознавания движения обнаруживает позиции конкретных частей пользователя U, таких как рука и плечо пользователя U, с трехмерного изображения и определяет траекторию руки с использованием обнаруженных позиций руки и плеча. Модуль 193 распознавания движения обнаруживает инструкции манипуляции, подразумеваемые пользователем U, путем сравнения определенной траектории руки с инструкций движения, сохраненной согласно различным инструкциям манипуляции. Дополнительно, модуль 193 распознавания движения может обнаруживать позицию пространства, которое должно быть убрано, инструкцию о котором дала рука пользователя, с использованием обнаруженных позиций руки и плеча.

[81] Главный модуль 195 управления управляет операцией блока 160 передвижения и операционный блока 170 уборки на основе инструкций манипуляции пользователя, введенных через блок 110 манипуляции, блок 130 захвата изображения и блок 140 голосового ввода и выведенных от блока 120 восходящего захвата изображения и блока 150 обнаружения препятствия. Например, когда инструкции уборки вводятся через блок 110 манипуляции, средство 190 управления управляет блоком 160 передвижения так, чтобы робот-уборщик 100 мог передвигаться по предварительно определенному пути передвижения, и средство 190 управления управляет блоком 170 уборки так, чтобы робот-уборщик 100 мог удалять пыль на пути передвижения, по которому робот-уборщик 100 передвигается.

[82] Средство 190 управления может включать в себя микропроцессор, который выполняет арифметическую операцию над управляющей программой и данными, введенными согласно управляющей программе, сохраненной в блоке 180 хранения робота, и выводит результат арифметической операции. Кроме того, средство 190 управления может включать в себя общий процессор, который выполняет все операции, или множество процессоров, которые выполняют специализированную функцию, таких как графические процессоры или процессоры связи.

[83] Фиг.5 изображает структурную схему, иллюстрирующую поток управления портативного мобильного терминала, изображенного на фиг.1, и фиг.6 изображает вид в перспективе, иллюстрирующий внешнюю часть портативного мобильного терминала с фиг.1.

[84] Со ссылкой на фиг.5 и 6, портативный мобильный терминал 200 включает в себя пользовательский интерфейс 210, который принимает инструкции манипуляции от пользователя U и отображает экран, соответствующий инструкциям манипуляции пользователя, блок 230 хранения терминала, в котором программа и данные для управления портативным мобильным терминалом 200 хранятся, блок 240 связи терминала, который связывается с роботом-уборщиком (см. 100 с фиг.1), и средство 250 управления терминалом, которое управляет операцией портативного мобильного терминала 200.

[85] Пользовательский интерфейс 210 включает в себя сенсорную панель 211a, которая принимает инструкции манипуляции пользователя через движение прикосновения пользователя, панель 211b отображения, на которой информация, соответствующая инструкциям манипуляции, введенным на сенсорной панели 211a, отображается, кнопка 213 питания, которая принимает инструкции включения/выключения питания портативного мобильного терминала 200, и кнопка 215 стартового экрана, которая преобразует экран, отображаемый на панели 211b отображения, в главный экран. Здесь в качестве панели 211b отображения может быть задействована LCD-панель или LED-панель.

[86] Сенсорная панель 211a и панель 211b отображения сформированы неотъемлемым образом друг с другом и составляют сенсорную экранную панель (TSP) 211. В TSP 211 прозрачная сенсорная панель 211a может быть установлена на панели 211b отображения, экран, на котором отображаются инструкции манипуляции, которые могут быть выбраны пользователем U, может отображаться на панели 211b отображения, и координаты, к которым прикасается пользователь U, могут быть обнаружены посредством сенсорной панели 211a. Когда пользователь U прикасается к TSP 211 согласно экрану, отображаемому на панели 211b отображения, портативный мобильный терминал 200 может распознавать инструкции манипуляции, подразумеваемые пользователем U, путем сравнения координат, к которым прикоснулся пользователь U, с координатами, в которых инструкции манипуляции отображаются.

[87] Дополнительно, портативный мобильный терминал 200 может обнаруживать движение прикосновения пользователя посредством сенсорной панели 211a и может распознавать инструкции манипуляции, подразумеваемые пользователем, согласно обнаруженному движению прикосновения пользователя.

[88] Блок 230 хранения терминала может включать в себя энергонезависимую память (не показана), такую как магнитный диск или твердотельный диск, в которой управляющая программа или управляющие данные для управления операцией портативного мобильного терминала 200 сохранены постоянным образом, и энергозависимую память (не показана), такую как D-RAM или S-RAM, в которой временные данные, генерируемые, когда осуществляется управление операцией портативного мобильного терминала 200, временно сохраняются.

[89] Блок 240 связи терминала может включать в себя модуль беспроводной связи (не показан), который выполняет беспроводную связь с роботом-уборщиком (см. 100 с фиг.1) с использованием способа беспроводной связи, такого как Wi-Fi, Bluetooth, Zigbee или NFC.

[90] Средство 250 управления терминалом управляет TSP 211 так, чтобы экран, отображаемый на TSP 211, мог быть изменен согласно инструкциям манипуляции, введенным через TSP 211, и информации, введенной через блок 240 связи терминала. Например, когда изображение пространства, которое должно быть убрано, захваченное роботом-уборщиком 100, принимается от блока 240 связи терминала, и инструкции отображения изображения пространства, которое должно быть убрано, вводятся от пользователя U, средство 250 управления терминалом отображает принятое изображение пространства, которое должно быть убрано, на TSP 211.

[91] Конфигурации робота-уборщика 100 и портативного мобильного терминала 200, изображенные на фиг.1, были описаны выше. Далее способ установления зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика 100 и портативного мобильного терминала 200 с фиг.1 в соответствии с вариантом осуществления настоящего раскрытия будет описан.

[92] Фиг.7 изображает случай, в котором робот-уборщик с фиг.1 принимает голосовые инструкции от пользователя, и фиг.8A, 8B и 8C изображают случай, в котором робот-уборщик с фиг.1 определяет позицию пользователя посредством голосовых инструкций пользователя.

[93] Как иллюстрируется на фиг.7 и 8, когда пользователь U вводит инструкции вызова в робот-уборщик 100 посредством голоса, в то время как робот-уборщик 100 выполняет уборку в режиме автоматической уборки, робот-уборщик 100 принимает голосовые сигналы пользователя U через блок голосового ввода (см. 140 с фиг.2A), расположенный в роботе-уборщике 100, и обнаруживает инструкции вызова пользователя U на основе принятых голосовых сигналов. Кроме того, когда инструкции вызова обнаруживаются, робот-уборщик 100 вращается в направлении пользователя U.

[94] Подробно, робот-уборщик 100 может использовать голосовые сигналы, принятые по меньшей мере одним из трех микрофонов 141, 143 и 145, включенных в блок голосового ввода (см. 140 с фиг.2A), с целью приема голосовых сигналов пользователя U. Например, робот-уборщик 100 может использовать голосовые сигналы, принятые передним микрофоном 141 из переднего микрофона 141, левого микрофона 143 и правого микрофона 144, для распознавания голоса.

[95] Кроме того, когда голосовые сигналы пользователя U принимаются, робот-уборщик 100 может анализировать голосовые сигналы, введенные через модуль распознавания голоса (см. 191 с фиг.2B), и может обнаруживать инструкции вызова пользователя U согласно результату анализа. Например, робот-уборщик 100 сравнивает голосовые сигналы пользователя U, принятые блоком голосового ввода (см. 140 с фиг.2A), с голосовыми сигналами согласно множеству инструкций манипуляции, тем самым обнаруживая, что голосовые сигналы пользователя U являются инструкциями вызова.

[96] Кроме того, в результате анализа голосовых сигналов пользователя U, когда определяется, что голосовые сигналы пользователя U являются инструкциями вызова, робот-уборщик 100 определяет направление пользователя U на основе голосовых сигналов, введенных в три микрофона 141, 143 и 145, и вращается в направлении пользователя U. Подробно, робот-уборщик 100 сравнивает время входа голосовых сигналов, введенных в три микрофона 141, 143 и 145, и амплитуды голосовых сигналов, тем самым оценивая направление пользователя U.

[97] Например, когда голосовой сигнал первым принят передним микрофоном 141 и амплитуда голосового сигнала, введенного в передний микрофон 141, является наибольшей, робот-уборщик 100 может оценить, что пользователь U находится в зоне A1 или A2, изображенной на фиг.8B. Кроме того, когда голосовой сигнал принимается левым микрофоном 143 раньше, чем правый микрофон 145 принимает голосовой сигнал, и амплитуда голосового сигнала, введенного в левый микрофон 143 больше, чем амплитуда голосового сигнала, введенного в правый микрофон 145, робот-уборщик 100 может оценить, что пользователь U находится в зоне A2 с фиг.8B. Дополнительно, робот-уборщик 100 может оценить позицию пользователя U на основе разницы между временем, в которое голосовой сигнал вводится в левый микрофон 143, и временем, в которое голосовой сигнал вводится в правый микрофон 145, или разницы между амплитудой голосового сигнала, введенного в левый микрофон 143, и амплитудой голосового сигнала, введенного в правый микрофон 145.

[98] В качестве другого примера, когда голосовые сигналы пользователя U вводятся по порядку в левый микрофон 143, передний микрофон 141 и правый микрофон 145 и амплитуды голосовых сигналов имеют порядок левый микрофон 143, передний микрофон 14 и правый микрофон 145, робот-уборщик 100 может определять, что пользователь U находится в зоне B1, изображенной на фиг.8B.

[99] Когда направление пользователя U определяется, робот-уборщик 100 вращается в направлении пользователя U, как изображено на фиг.8C. В этом случае робот-уборщик 100 может вращаться в направлении, в котором угловое перемещение мало.

[100] Фиг.9 изображает случай, в котором робот-уборщик с фиг.1 получает изображение пользователя и голос пользователя.

[101] Когда инструкции вызова вводятся от пользователя U, робот-уборщик 100 вращается в направлении пользователя U, как изображено на фиг.9, и получает двухмерные изображения пользователя U и пространства, которое должно быть убрано, и информацию расстояния с использованием блока захвата изображения (см. 130 с фиг.2).

[102] Пользователь U может вводить инструкции обозначения зоны уборки в робот-уборщик 100 посредством движения или голоса. Например, пользователь U может сказать "Убери здесь", когда дает инструкцию в отношении зоны концентрированной уборки, которая должна быть тщательно убрана, или может сказать "Не убирай здесь", когда дает инструкцию в отношении ограниченной зоны, в которую вход робота-уборщика 100 запрещен. Таким образом, когда пользователь U вводит инструкции обозначения зоны уборки в робот-уборщик 100 посредством движения или голоса, робот-уборщик 100 определяет зону, инструкцию о которой дал пользователь U, посредством движения пользователя U и анализирует голос пользователя U, тем самым определяя инструкции манипуляции пользователя U.

[103] Определение инструкций манипуляции пользователя U может выполняться путем сравнения голосового сигнала, введенного через по меньшей мере один из множества микрофонов (см. 141, 143 и 145 с фиг.3), с голосовым сигналом согласно множеству инструкций манипуляции и путем обнаружения инструкций обозначения зоны уборки пользователя U. Например, робот-уборщик 100 может определять, дает ли пользователь U инструкцию о зоне концентрированной уборки или об ограниченной зоне.

[104] Когда инструкции обозначения зоны уборки определяются посредством голоса пользователя U, робот-уборщик 10 анализирует движение пользователя U и определяет зону, инструкцию о которой дал пользователь U, с использованием двухмерного изображения и информации расстояния, полученной блоком захвата изображения (см. 130 с фиг.2A).

[105] Фиг.10A и 10B и фиг.11A и 11B изображают случай, в котором робот-уборщик с фиг.1 определяет координаты зоны, инструкцию о которой дал пользователь, с изображения пользователя.

[106] Как изображено на фиг.10A, робот-уборщик 100 обнаруживает лицо F пользователя U с изображений пользователя U и пространства, которое должно быть убрано. Обнаружение лица F может выполняться с использованием способов, таких как способ, основанный на знаниях, где осуществляется попытка обнаружения компонентов, которые составляют лицо F человека, таких как симметричные глаза, нос и рот под глазами, алгоритм собственного лица, где осуществляется попытка обнаружения лица F путем приближения собственного вектора в отношении матрицы автокорреляции изображения лица F, алгоритм метода опорных векторов (SVM), где лицо F обнаруживается с использованием SVM, или алгоритм подхода усиления, где способ обнаружения, имеющий высокую частоту обнаружения, составляется путем линейной комбинации нескольких способов обнаружения, имеющих низкие частоты обнаружения. Однако настоящее раскрытие не ограничивается этим. Например, любой способ для обнаружения лица F пользователя U с изображений пользователя U может быть использован.

[107] Лицо F пользователя U обнаруживается так, чтобы робот-уборщик 100 мог определить точную позицию пользователя U, и изображение пользователя U может быть использовано в качестве критерия для обнаружения конкретных частей пользователя U, таких как рука и плечо. Дополнительно, расстояние между пользователем U и роботом-уборщиком 100 может быть определено из расстояния между лицом F пользователя U и роботом-уборщиком 100.

[108] Как изображено на фиг.10B, после обнаружения лица F пользователя U робот-уборщик 100 обнаруживает конкретные части пользователя U, такие как плечо RS и рука RH, с изображения пользователя U на основе позиции лица F пользователя U.

[109] Как изображено на фиг.11A, когда плечо RS и рука RH пользователя U обнаруживаются с трехмерного изображения пользователя U, робот-уборщик 100 может определять расстояние d1 между пользователем U и роботом-уборщиком 100, расстояние d2 между плечом RS пользователя U и роботом-уборщиком 100 и расстояние d3 между рукой RH пользователя U и роботом-уборщиком 100 с использованием информации расстояния, полученной блоком захвата изображения (см. 130 с фиг.2A). Кроме того, робот-уборщик 100 может определять направление пользователя U, направление плеча RS и направление руки RH с двухмерного изображения, захваченного блоком захвата изображения (см. 130 с фиг.2A).

[110] Кроме того, робот-уборщик 100 может определять трехмерные относительные координаты плеча RS и руки RH пользователя U на основе расстояния d1 между пользователем U и роботом-уборщиком 100 и направления пользователя U, расстояния d2 между плечом RS пользователя U и роботом-уборщиком 100 и направления плеча RS и робота-уборщика 100 и расстояния d3 между рукой RH пользователя U и роботом-уборщиком 100 и направления руки RH. Здесь трехмерные относительные координаты плеча RS и руки RH пользователя U определяют координаты в трехмерной относительной системе координат, в которой позиция робота-уборщика 100 устанавливается в качестве начала координат. Трехмерная относительная система координат определяет систему координат, в которой робот-уборщик 100 устанавливается в качестве начала координат, переднее направление робота-уборщика 100 от пола уборки устанавливается в качестве оси +y, правое направление робота-уборщика 100 от пола уборки устанавливается в качестве оси +x и верхнее направление робота-уборщика 100 от пола уборки устанавливается в качестве оси +z.

[111] Когда трехмерные координаты плеча RS и руки RH пользователя U определяются, робот-уборщик 100 определяет вектор направления SH в сторону руки RH пользователя U от плеча RS пользователя U и определяет двухмерные относительные координаты зоны, инструкцию о которой дал пользователь U, на основе вектора направления SH в сторону руки RH пользователя U от плеча RS пользователя U и трехмерные относительные координаты плеча RS или руки RH пользователя U. Иными словами, поскольку зона, инструкцию о которой дал пользователь U, находится на полу уборки, позиция, в которой вектор направления SH в сторону руки RH пользователя U от плеча RS пользователя U и пол пространства, которое должно быть убрано, пересекаются друг с другом, будет зоной, инструкцию о которой дал пользователь U, и может быть представлена в виде двухмерных относительных координат, имеющих только координату оси x и координату оси y.

[112] Кроме того, робот-уборщик 100 определяет координаты экрана, указывающие, какой позиции зоны, инструкцию о которой дал пользователь U, двухмерное изображение, захваченное блоком захвата изображения, соответствует (см. 130 с фиг.2A). Поскольку трехмерная камера (см. 131 с фиг.3) фиксирована на роботе-уборщике 100, двухмерные относительные координаты, указывающие позицию зоны, инструкцию о которой дал пользователь U, на полу уборки, и координаты экрана, указывающие позицию зоны, инструкцию о которой дал пользователь U, на двухмерном изображении находятся во взаимно-однозначном соответствии, как изображено на фиг.11B. То есть робот-уборщик 100 может определять координаты экрана на двухмерном изображении, когда двухмерные относительные координаты зоны, инструкцию о которой дал пользователь U, получаются.

[113] Кроме того, робот-уборщик 100 определяет абсолютные координаты зоны, инструкцию о которой дал пользователь U, с использованием относительных координат зоны, инструкцию о которой дал пользователь U, и информации позиции робота-уборщика 100, полученных блоком захвата изображения (см. 120 с фиг.2A). Здесь абсолютные координаты являются координатами на основе предварительно определенной точки критерия, такой как вход в пространство, которое должно быть убрано, или станция зарядки (не показана) внутри пространства, которое должно быть убрано, и отличны от относительных координат на основе робота-уборщика 100.

[114] Фиг.12 изображает случай, в котором робот-уборщик с фиг.1 передает изображение пользователя и изображение пространства, которое должно быть убрано, и информацию, касающуюся зоны, инструкцию о которой дал пользователь, к портативному мобильному терминалу, и фиг.13 изображает случай, в котором робот-уборщик с фиг.1 и портативный мобильный терминал с фиг.1 отображают изображение пространства уборки и информацию, касающуюся зоны, инструкцию о которой дал пользователь.

[115] Когда информация позиции зоны, инструкцию о которой дал пользователь U, внутри двухмерного изображения определяется, робот-уборщик 100 отображает двухмерное изображение на панели отображения (см. 116 с фиг.3) и наложенным образом отображает зону, инструкцию о которой дал пользователь U, и тип зоны, инструкцию о которой дал пользователь U, на двухмерном изображении (является ли зона, инструкцию о которой дал пользователь U, зоной концентрированной уборки или ограниченной зоной). Кроме того, робот-уборщик 100 передает двухмерное изображение, координаты экрана и абсолютные координаты зоны, инструкцию о которой дал пользователь U, тип зоны, инструкцию о которой дал пользователь U, и информацию позиции робота-уборщика 100 в пространстве, которое должно быть убрано, портативному мобильному терминалу 200 через блок связи (см. 185 с фиг.2A).

[116] Когда двухмерное изображение принимается, портативный мобильный терминал 200 отображает принятое двухмерное изображение на TSP 211 и наложенным образом отображает зону, инструкцию о которой дал пользователь U, на двухмерном изображении с использованием координат экрана зоны, инструкцию о которой дал пользователь U. Здесь наложенное отображение зоны, инструкцию о которой дал пользователь U, на двухмерном изображении с использованием робота-уборщика 100 и портативного мобильного терминала 200 может выполняться с использованием дополненной реальности. Дополненная реальность, вид виртуальной реальности, является графической методикой, в которой виртуальный объект или виртуальная информация синтезируется в действительной среде так, чтобы виртуальный объект или виртуальная информация отображались в качестве объекта в исходной среде.

[117] Как изображено на фиг.13, робот-уборщик 100 и портативный мобильный терминал 200 отображают экран 300 зоны уборки, на котором двухмерное изображение и зона, инструкцию о которой дал пользователь U, т. е. первая зона концентрированной уборки C1, отображаются. Здесь первая зона концентрированной уборки C1 может наложенным образом отображаться на двухмерном изображении на основе координат экрана зоны, инструкцию о которой дал пользователь U, и типа зоны, инструкцию о которой дал пользователь, U.

[118] Пользователь U может проверять позицию зоны концентрированной уборки C1, инструкцию о которой дал пользователь U, посредством экрана 300 зоны уборки, отображаемого на панели отображения (см. 116 с фиг.12) робота-уборщика 100 и TSP 211 портативного мобильного терминала 200.

[119] Дополнительно, пользователь U может дополнительно вводить зону концентрированной уборки или ограниченную зону через TSP (см. 211 с фиг.12) портативного мобильного терминала 200.

[120] Фиг.14 изображает случай, в котором информация, касающаяся зоны концентрированной уборки, вводится в портативный мобильный терминал с фиг.1, и фиг.15 и 16 изображают случай, в котором информация, касающаяся ограниченной зоны, вводится в портативный мобильный терминал с фиг.1.

[121] Как изображено на фиг.14, пользователь U может вводить входные инструкции зоны концентрированной уборки посредством движения или голоса, может прикасаться к позиции, которая должна быть дополнительно обозначена в качестве зоны концентрированной уборки на экране 300 зоны уборки, отображаемой на TSP (см. 211 с фиг.12) портативного мобильного терминала 200, или может прикасаться и перетаскивать зону, которая должна быть обозначена в качестве зоны концентрированной уборки, тем самым обозначая вторую зону концентрированной уборки.

[122] Когда пользователь U вводит вторую зону концентрированной уборки посредством TSP (см. 211 с фиг.12), портативный мобильный терминал 200 наложенным образом отображает вторую зону концентрированной уборки C2 на двухмерном изображении. То есть портативный мобильный терминал 200 отображает экран зоны уборки (не показан), на котором первая зона концентрированной уборки C1 и вторая зона концентрированной уборки C2 накладываются друг друга на двухмерном изображении пространства, которое должно быть убрано, посредством TSP (см. 211 с фиг.12).

[123] Когда пользователь U хочет ввести ограниченную зону, пользователь U может ввести входные инструкции ограниченной зоны, может прикоснуться к позиции, которая должна быть обозначена в качестве ограниченной зоны, на экране 320 зоны уборки, отображаемом на TSP (см. 211 с фиг.12) портативного мобильного терминала 200, как изображено на фиг.15 и 16, или может прикоснуться и перетащить зону, которая должна быть обозначена в качестве ограниченной зоны U1, тем самым обозначая первую ограниченную зону W1 и вторую ограниченную зону W2.

[124] Когда пользователь U вводит первую ограниченную зону W1 и вторую ограниченную зону W2 посредством TSP 211, портативный мобильный терминал 200 наложенным образом отображает первую ограниченную зону W1 и вторую ограниченную зону W2 на двухмерном изображении. То есть портативный мобильный терминал 200 отображает экран 330 зоны уборки, на котором первая зона концентрированной уборки C1, вторая зона концентрированной уборки C2, первая ограниченная зона W1 и вторая ограниченная зона W2 отображаются на двухмерном изображении пространства, которое должно быть убрано, с использованием дополненной реальности посредством TSP (см. 211 с фиг.12).

[125] Фиг.17 изображает экран, на котором портативный мобильный терминал с фиг.1 отображает зону концентрированной уборки и ограниченную зону.

[126] Портативный мобильный терминал 200 может отображать позиции зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 на плане (карте) пространства, которое должно быть убрано.

[127] Подробно, когда пользователь U выполняет ввод зоны концентрированной уборки и ограниченной зоны, портативный мобильный терминал 200 определяет двухмерные относительные координаты второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2 на основе координат экрана второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2. После этого портативный мобильный терминал 100 определяет абсолютные координаты второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2, т. е. позиции второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2 внутри пространства, которое должно быть убрано, с использованием позиции робота-уборщика 100, когда робот-уборщик 100 захватывает двухмерное изображение и двухмерные относительные координаты второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2. Кроме того, портативный мобильный терминал 200 передает абсолютные координаты второй зоны концентрированной уборки C2, первой ограниченной зоны W1 и второй ограниченной зоны W2 роботу-уборщику 100 так, чтобы робот-уборщик 100 мог обнаруживать зоны концентрированной уборки C1 и C2 и ограниченные зоны W1 и W2.

[128] Когда абсолютные координаты зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 определяются, портативный мобильный терминал 200 может отображать карту пространства, которое должно быть убрано, и может отображать позиции зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 на карте пространства, которое должно быть убрано.

[129] Фиг.18 изображает блок-схему, иллюстрирующую способ ввода и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала в соответствии с вариантом осуществления настоящего раскрытия.

[130] Просто описывая способ ввода и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика (см. 100 с фиг.1) и портативного мобильного терминала (см. 200 с фиг.1) в соответствии с вариантом осуществления настоящего раскрытия со ссылками на фиг.18, определяется, вводятся ли инструкции манипуляции пользователя в робот-уборщик (см. 100 с фиг.1) посредством голоса, в то время как в пространстве, которое должно быть убрано, осуществляется уборка (операция 505).

[131] Когда инструкции манипуляции вводятся посредством голоса ("Да" на операции 505), робот-уборщик (см. 100 с фиг.1) обнаруживает инструкции манипуляции (операция 508). Подробно, в результате обнаружения инструкций манипуляции, когда инструкции манипуляции являются инструкциями вызова, робот-уборщик (см. 100 с фиг.1) определяет позицию пользователя и вращается в направлении позиции пользователя.

[132] Далее робот-уборщик (см. 100 с фиг.1) захватывает изображение пользователя (операция 510).

[133] Далее робот-уборщик (см. 100 с фиг.1) обнаруживает движение пользователя (операция 515). Подробно, робот-уборщик (см. 100 с фиг.1) обнаруживает пользовательские входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны посредством изображения пользователя.

[134] Далее робот-уборщик (см. 100 с фиг.1) определяет позицию зоны концентрированной уборки или ограниченной зоны посредством движения пользователя (операция 520).

[135] Далее робот-уборщик (см. 100 с фиг.1) отображает зону концентрированной уборки или ограниченную зону (операция 525). Кроме того, робот-уборщик (см. 100 с фиг.1) может передавать информацию, касающуюся зоны концентрированной уборки или ограниченной зоны, портативному мобильному терминалу (см. 200 с фиг.1), и портативный мобильный терминал (см. 200 с фиг.1) может отображать зону концентрированной уборки или ограниченную зону.

[136] Далее портативный мобильный терминал (см. 200 с фиг.1) определяет, вводит ли пользователь дополнительно зону концентрированной уборки или ограниченную зону (операция 530).

[137] Когда пользователь дополнительно вводит зону концентрированной уборки или ограниченную зону ("Да" на операции 530), портативный мобильный терминал (см. 200 с фиг.1) определяет позицию зоны концентрированной уборки или ограниченной зоны (операция 535) и отображает зону концентрированной уборки или ограниченную зону (операция 540).

[138] Кроме того, портативный мобильный терминал (см. 200 с фиг.1) отображает зону концентрированной уборки или ограниченную зону на карте пространства, которое должно быть убрано, на которой пространство, которое должно быть убрано, отображается (операция 545).

[139] Когда определяется, что пользователь не вводит дополнительно зону концентрированной уборки или ограниченную зону ("Нет" на операции 530), портативный мобильный терминал (см. 200 с фиг.1) отображает зону концентрированной уборки или ограниченную зону, переданные роботом-уборщиком (см. 100 с фиг.1), на карте пространства, которое должно быть убрано, на которой пространство, которое должно быть убрано, отображается.

[140] Способ установления зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала, изображенных на фиг.1, в соответствии с вариантом осуществления настоящего раскрытия был описан выше. Далее способ установления зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала, изображенных на фиг.1, в соответствии с другим вариантом осуществления настоящего раскрытия будет описан.

[141] Фиг.19 изображает случай, в котором робот-уборщик с фиг.1 принимает инструкции манипуляции от пользователя посредством портативного мобильного терминала.

[142] Со ссылкой на фиг.19, робот-уборщик 100 принимает инструкции манипуляции пользователя посредством портативного мобильного терминала 200 в течение режима мануальной уборки.

[143] Подробно, робот-уборщик 100 передает изображение, захваченное блоком захвата изображения (см. 130 с фиг.2A), портативному мобильному терминалу 200, и пользователь U может манипулировать направлением передвижения робота-уборщика 100 с использованием клавиши 221b направления, расположенной на TSP 211 портативного мобильного терминала 200, во время просмотра изображения 221a робота-уборщика 100, отображаемого на TSP 211 портативного мобильного терминала 200.

[144] Пользователь U может вводить входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны посредством зоны 221c ввода инструкции движения, расположенной на TSP 211 портативного мобильного терминала 200, в течение манипуляции передвижения робота-уборщика 100.

[145] Когда входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны вводятся от пользователя, портативный мобильный терминал 200 отображает двухмерное изображение, захваченное роботом-уборщиком 100, когда входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны вводятся, и информирует робот-уборщик 100, что входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны введены. Робот-уборщик 100, который был информирован, что входные инструкции зоны концентрированной уборки или входные инструкции ограниченной зоны введены, передает информацию позиции робота-уборщика 100 внутри пространства, которое должно быть убрано, портативному мобильному терминалу 200.

[146] Фиг.20 изображает экран, на котором информация, касающаяся зоны концентрированной уборки, вводится через портативный мобильный терминал с фиг.1, и фиг.21 и 22 изображают экран, на котором информация, касающаяся ограниченной зоны, вводится через портативный мобильный терминал с фиг.1.

[147] Пользователь U может вводить входные инструкции зоны концентрированной уборки и может прикасаться к позиции, которая должна быть обозначена в качестве зоны концентрированной уборки, на экране 400 зоны уборки, отображаемом на TSP (см. 211 с фиг.19) портативного мобильного терминала 200, как изображено на фиг.20, или может прикасаться и перетаскивать зону, которая должна быть обозначена в качестве зоны концентрированной уборки, тем самым обозначая первую зону концентрированной уборки C1.

[148] Когда пользователь U вводит первую зону концентрированной уборки C1 посредством TSP 211, портативный мобильный терминал 200 отображает экран зоны уборки (не показан), на котором первая зона концентрированной уборки C1 отображается на двухмерном изображении с использованием дополненной реальности.

[149] Кроме того, когда пользователь U хочет дополнительно ввести вторую зону концентрированной уборки C2 дополнительно к первой зоне концентрированной уборки C1, пользователь U может прикоснуться к позиции, которая должна быть обозначена в качестве зоны концентрированной уборки, на TSP (см. 211 с фиг.19) портативного мобильного терминала 200 или может прикоснуться и перетащить зону, которая должна быть обозначена в качестве зоны концентрированной уборки, тем самым обозначая вторую зону концентрированной уборки C2. Портативный мобильный терминал 200 отображает экран 410 зоны уборки, на котором первая зона концентрированной уборки C1 и вторая зона концентрированной уборки C2 отображаются на двухмерном изображении, посредством TSP (см. 211 с фиг.19) с использованием дополненной реальности.

[150] Когда пользователь U хочет ввести ограниченную зону, пользователь U может вводить входные инструкции ограниченной зоны и может прикасаться к позиции, которая должна быть обозначена в качестве ограниченной зоны, на TSP (см. 211 с фиг.19) портативного мобильного терминала 200, как иллюстрируется на фиг.21 и 22, или может прикасаться и перетаскивать зону, которая должна быть обозначена в качестве зоны концентрированной уборки, тем самым обозначая первую ограниченную зону W1 и вторую ограниченную зону W2.

[151] Когда пользователь U вводит первую ограниченную зону W1 и вторую ограниченную зону W2 посредством TSP (см. 211 с фиг.19), портативный мобильный терминал 200 отображает экран 420 зоны уборки, на котором первая ограниченная зона W1 и вторая ограниченная зона W2 отображаются на двухмерном изображении с использованием дополненной реальности.

[152] Фиг.23 изображает экран, на котором портативный мобильный терминал с фиг.1 отображает зону концентрированной уборки и ограниченную зону.

[153] Портативный мобильный терминал 200 может отображать позиции зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 на плане (карте) пространства, которое должно быть убрано, как изображено на фиг.23.

[154] Когда пользователь U выполняет ввод зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2, двухмерные относительные координаты зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 определяются на основе координат экрана зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2. После этого портативный мобильный терминал 200 определяет абсолютные координаты зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2, т. е. позиции зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 внутри пространства, которое должно быть убрано, с использованием позиции робота-уборщика 100, когда робот-уборщик 100 захватывает двухмерное изображение, и двухмерных относительных координат зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2. Кроме того, портативный мобильный терминал 200 передает абсолютные координаты зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 роботу-уборщику 100 так, чтобы робот-уборщик 100 мог обнаруживать зоны концентрированной уборки C1 и C2 и ограниченные зоны W1 и W2.

[155] Когда абсолютные координаты зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 определяются, портативный мобильный терминал 200 может отображать карту пространства, которое должно быть убрано, и может отображать позиции зон концентрированной уборки C1 и C2 и ограниченных зон W1 и W2 на карте пространства, которое должно быть убрано.

[156] Фиг.24 изображает блок-схему, иллюстрирующую способ ввода и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика и портативного мобильного терминала с фиг.1 в соответствии с другим вариантом осуществления настоящего раскрытия.

[157] Просто описывая способ ввода и отображения зоны концентрированной уборки и ограниченной зоны с использованием робота-уборщика (см. 100 с фиг.1) и портативного мобильного терминала (см. 200 с фиг.1) в соответствии с другим вариантом осуществления настоящего раскрытия со ссылками на фиг.18, определяется, вводятся ли пользовательские входные инструкции зоны уборки или ограниченные входные инструкции в робот-уборщик (см. 100 с фиг.1) посредством портативного мобильного терминала (см. 200 с фиг.1), в то время как осуществляется уборка пространства, которое должно быть убрано, в мануальном режиме (операция 605).

[158] Когда пользовательские входные инструкции зоны уборки или ограниченные входные инструкции вводятся посредством портативного мобильного терминала (см. 200 с фиг.1; "Да" на операции 605), робот-уборщик (см. 100 с фиг.1) захватывает изображение пространства, которое должно быть убрано (операция 610). Кроме того, робот-уборщик (см. 100 с фиг.1) передает захваченное изображение пространства, которое должно быть убрано, портативному мобильному терминалу (см. 200 с фиг.1).

[159] Далее портативный мобильный терминал (см. 200 с фиг.1) отображает изображение пространства, которое должно быть убрано, (операция 615).

[160] Далее портативный мобильный терминал (см. 200 с фиг.1) определяет, вводит ли пользователь зону концентрированной уборки или ограниченную зону (операция 620).

[161] Когда определяется, что пользователь вводит зону концентрированной уборки или ограниченную зону ("Да" на операции 620), портативный мобильный терминал (см. 200 с фиг.1) определяет позицию зоны концентрированной уборки или ограниченной зоны (операция 625) и отображает зону концентрированной уборки или ограниченную зону (операция 630).

[162] Кроме того, портативный мобильный терминал (см. 200 с фиг.1) отображает зону концентрированной уборки или ограниченную зону на карте пространства, которое должно быть убрано, на которой пространство, которое должно быть убрано, отображается (операция 635).

[163] Когда определяется, что пользователь не вводит зону концентрированной уборки или ограниченную зону ("Нет" на операции 620), портативный мобильный терминал (см. 200 с фиг.1) отображает карту пространства, которое должно быть убрано, на которой пространство, которое должно быть убрано, отображается (операция 635).

[164] Несмотря на то, что несколько вариантов осуществления настоящего раскрытия было показано и описано, специалистам в данной области техники будет понятно, что изменения могут быть сделаны в этих вариантах осуществления без выхода за пределы принципов и сущности раскрытия, объем которого определен в пунктах формулы и их эквивалентах.

Предложен робот-уборщик, который включает блок передвижения, блок уборки, блок захвата изображения, видимого от робота-уборщика, блок голосового ввода инструкций пользователя и средство управления. Средство управления получает инструкции движения пользователя через блок захвата изображения и определяет ограниченную зону, в которую вход робота-уборщика запрещен, и/или зону концентрированной уборки, которая должна быть тщательно убрана роботом-уборщиком, на основе инструкций движения пользователя или голосовых инструкций пользователя. Ограниченная зона и зона концентрированной уборки могут вводиться в робот-уборщик посредством голоса и движения пользователя. 3 н. и 23 з.п. ф-лы, 29 ил.

1. Робот-уборщик, который выполняет уборку во время передвижения в пространстве, которое должно быть убрано, причем робот-уборщик содержит:

блок передвижения, который обеспечивает перемещение робота-уборщика;

блок уборки, который обеспечивает уборку пространства, которое должно быть убрано;

блок захвата изображения, который захватывает изображение, видимое от робота-уборщика;

блок голосового ввода, в который вводятся голосовые инструкции пользователя; и

средство управления, которое получает инструкции движения пользователя через блок захвата изображения, когда голосовые инструкции пользователя вводятся через блок голосового ввода, и определяет ограниченную зону и/или зону концентрированной уборки на основе инструкций движения пользователя.

2. Робот-уборщик по п.1, в котором блок голосового ввода содержит по меньшей мере три микрофона, в которые вводятся голосовые инструкции пользователя.

3. Робот-уборщик по п.2, в котором средство управления оценивает позицию пользователя на основе разницы времени, в которое голосовые инструкции пользователя вводятся в по меньшей мере три микрофона.

4. Робот-уборщик по п.3, в котором средство управления управляет блоком передвижения для вращения робота-уборщика так, чтобы блок захвата изображения был направлен в сторону позиции пользователя.

5. Робот-уборщик по п.1, в котором блок захвата изображения содержит камеру, которая захватывает двухмерное изображение пользователя, и инфракрасный датчик, который получает информацию расстояния пользователя, захваченного камерой.

6. Робот-уборщик по п.5, в котором средство управления обнаруживает движение пользователя на основе изображения пользователя, захваченного блоком захвата изображения, и информации расстояния пользователя, полученной блоком захвата изображения.

7. Робот-уборщик по п.6, в котором средство управления обнаруживает руку и плечо пользователя с изображения пользователя и определяет координаты руки и плеча пользователя на основе информации расстояния пользователя.

8. Робот-уборщик по п.7, в котором средство управления определяет зону, инструкцию о которой дал пользователь, на основе координат руки и плеча пользователя и определяет зону, инструкцию о которой дал пользователь, в качестве ограниченной зоны и/или зоны концентрированной уборки.

9. Способ управления роботом-уборщиком, который выполняет уборку во время передвижения в пространстве, которое должно быть убрано, причем способ содержит этапы, на которых:

получают изображение пользователя, когда голосовые инструкции вводятся от пользователя;

получают движение пользователя на основе изображения и

определяют ограниченную зону, в которую вход робота-уборщика запрещен, и/или зону концентрированной уборки, которая должна быть тщательно убрана роботом-уборщиком, на основе голосовых инструкций пользователя и изображения пользователя.

10. Способ по п.9, в котором получение изображения содержит этапы, на которых:

определяют позицию пользователя на основе разницы во времени, в которое голосовые инструкции пользователя вводятся в множество микрофонов;

вращают робот-уборщик в направлении позиции пользователя;

излучают инфракрасные лучи в направлении пользователя и

получают информацию расстояния пользователя на основе инфракрасных лучей, отраженных от пользователя.

11. Способ по п.9, в котором получение движения пользователя содержит этапы, на которых:

обнаруживают руку и плечо пользователя с изображения пользователя и

определяют координаты руки и плеча пользователя на основе информации расстояния пользователя.

12. Способ по п.11, в котором определение ограниченной зоны и/или зоны концентрированной уборки содержит этапы, на которых:

определяют зону, инструкцию о которой дал пользователь, на основе координат руки и плеча пользователя и

определяют зону, инструкцию о которой дал пользователь, в качестве ограниченной зоны или зоны концентрированной уборки.

13. Способ по п.9, дополнительно содержащий этапы, на которых:

отображают изображение пространства, которое должно быть убрано; и

принимают ограниченную зону и/или зону концентрированной уборки от пользователя в отношении изображения пространства, которое должно быть убрано.

14. Способ по п.13, дополнительно содержащий этап, на котором определяют координаты зоны концентрированной уборки и/или ограниченной зоны в пространстве, которое должно быть убрано, на основе координат зоны концентрированной уборки и/или ограниченной зоны, введенных в отношении изображения пространства, которое должно быть убрано.

15. Способ по п.14, дополнительно содержащий этап, на котором отображают изображение ограниченной зоны и/или зоны концентрированной уборки поверх изображения пространства, которое должно быть убрано.

16. Система автоматической уборки, содержащая:

робот-уборщик, который выполняет уборку во время передвижения в пространстве, которое должно быть убрано; и

портативный мобильный терминал, который управляет роботом-уборщиком удаленным образом, причем, когда входные инструкции зоны концентрированной уборки и/или входные инструкции ограниченной зоны вводятся от пользователя, робот-уборщик захватывает изображение пространства, которое должно быть убрано, и передает изображение пространства, которое должно быть убрано, портативному мобильному терминалу, и

когда изображение пространства, которое должно быть убрано, принимается, портативный мобильный терминал отображает изображение пространства, которое должно быть убрано, и принимает зону концентрированной уборки и/или ограниченную зону от пользователя.

17. Система автоматической уборки по п.16, в которой робот-уборщик содержит блок захвата изображения, который захватывает изображение пространства, которое должно быть убрано, и принимает инструкции движения пользователя, и блок голосового ввода, который принимает голосовые инструкции пользователя, и робот-уборщик определяет ограниченную зону и/или зону концентрированной уборки на основе голосовых инструкций, введенных через блок голосового ввода, и инструкций движения, введенных через блок захвата изображения.

18. Система автоматической уборки по п.17, в которой, когда голосовые инструкции вводятся через блок голосового ввода, робот-уборщик вращается в направлении пользователя и принимает инструкции движения через блок захвата изображения.

19. Система автоматической уборки по п.16, в которой портативный мобильный терминал содержит сенсорную экранную панель, на которой изображение пространства, которое должно быть убрано, отображается, и инструкции манипуляции принимаются от пользователя, и когда зона концентрированной уборки и/или ограниченная зона вводится посредством сенсорной экранной панели, зона концентрированной уборки и/или ограниченная зона наложенным образом отображается на изображении пространства, которое должно быть убрано, посредством сенсорной экранной панели.

20. Система автоматической уборки по п.19, в которой портативный мобильный терминал определяет абсолютные координаты в пространстве, которое должно быть убрано, которые соответствуют зоне концентрированной уборки и/или ограниченной зоне.

21. Система автоматической уборки по п.20, в которой портативный мобильный терминал определяет координаты зоны концентрированной уборки и/или ограниченной зоны на изображении с сенсорной экранной панели, определяет относительные координаты зоны концентрированной уборки и/или ограниченной зоны, в которых робот-уборщик устанавливается в качестве начала координат, на основе координат на изображении, и определяет абсолютные координаты зоны концентрированной уборки и/или ограниченной зоны в пространстве, которое должно быть убрано, на основе относительных координат и позиции робота-уборщика.

22. Робот-уборщик по п.4, в котором средство управления управляет блоком передвижения для вращения в направлении, где угловое перемещение наименьшее.

23. Робот-уборщик по п.6, в котором средство управления обнаруживает первую и вторую части пользователя с изображения пользователя и определяет координаты первой и второй частей пользователя на основе информации расстояния пользователя.

24. Робот-уборщик по п.23, в котором средство управления определяет зону, инструкцию о которой дал пользователь, на основе координат первой и второй частей пользователя и определяет зону, инструкцию о которой дал пользователь, в качестве ограниченной зоны и/или зоны концентрированной уборки.

25. Способ по п.9, в котором получение движения пользователя содержит этапы, на которых:

обнаруживают первую и вторую части пользователя с изображения пользователя и

определяют координаты первой и второй частей пользователя на основе информации расстояния пользователя.

26. Способ по п.25, в котором определение ограниченной зоны и/или зоны концентрированной уборки содержит этапы, на которых:

определяют зону, инструкцию о которой дал пользователь, на основе координат первой и второй частей пользователя и

определяют зону, инструкцию о которой дал пользователь, в качестве ограниченной зоны и/или зоны концентрированной уборки.