КОМПЬЮТЕРНОЕ УСТРОЙСТВО КОММУНИКАЦИИ С ПОЛЬЗОВАТЕЛЕМ Российский патент 2021 года по МПК G10L15/22 G09B27/08 G09F9/302 

Область техники, к которой относится изобретение.

Изобретение относится к компьютерным устройствам коммуникации с пользователем, включающее в себя корпус, в котором размещен микрофон, соединенный с микропроцессором, имеющим модуль распознавания речи пользователя, модуль соединения с объединенной сетью, микропроцессор соединен с динамиком и может быть использовано для взаимодействия с пользователем и передачи ему объемной визуальной информации, в том числе визуализации антропоморфной головы собеседника, выражающей мимику.

В настоящем описании использованы следующие термины и сокращения

Объединенная сеть включает в себя различные топологии, конфигурации и компоновки компонентов межсетевого соединения, выполненные с возможностью соединять между собой корпоративные, глобальные и локальные вычислительные сети, и включает в себя, без ограничения, традиционные проводные, беспроводные, спутниковые, оптические и эквивалентные сетевые технологии, которые должны быть очевидны специалистам в данной области техники.

OLED (Organic Light-Emitting Diode - органический светодиод) - технология создания дисплеев, основанная на том, что органическая пленка на углеродной основе помещается между двумя проводниками, пропускающими электрический ток, из-за которого пленка самостоятельно излучает свет. Особенность технологии в том, что свет испускается каждым пикселем в отдельности. Белый или цветной пиксель может находиться возле черного (выключенного пикселя) и они совершенно не будут друг на друга влиять, у каждого может быть своя яркость. В этом принципиальное отличие OLED от ЖК-матриц, которые оснащаются специальной подсветкой пикселей, поэтому никогда не могут воспроизвести настоящий (абсолютный) черный цвет из-за наличия остаточной освещенности пикселей, при этом абсолютно черный цвет является основой для получения высококонтрастного изображения.

Светодиодный экран (LED screen, LED display) - устройство отображения и передачи визуальной информации (дисплей, монитор, телевизор), в котором каждой точкой - пикселем - является один или несколько полупроводниковых светодиодов (LED).

Объемный дисплей - дисплей, который имеет не плоскую поверхность, а криволинейную в пространстве, выпуклую, в виде многогранника, сферы и т.д.

Уровень техники.

В настоящее время все большее значение приобретает взаимодействие человека и компьютерных устройств.

Так известно, например, компьютерное устройство коммуникации с пользователем, включающее в себя корпус, в котором размещен микрофон, соединенный с микропроцессором, имеющим модуль распознавания речи пользователя, модуль соединения с объединенной сетью, микропроцессор соединен с динамиком, которое является Яндекс-станцией, см, например:

https://yandex.ru/alice/station?utm_source=serp&utm_medium=facts&utm_campaign=station_description

Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемого изобретения как устройства.

Недостатком этого прототипа является то что оно не может в ответ на голосовые запросы пользователя передавать ему объемную визуальную информацию.

Раскрытие изобретения.

Настоящее изобретение, главным образом, имеет целью предложить компьютерное устройство коммуникации с пользователем, включающее в себя корпус, в котором размещен микрофон, соединенный с микропроцессором, имеющим модуль распознавания речи пользователя, модуль соединения с объединенной сетью, микропроцессор соединен с динамиком, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно: обеспечить возможность в ответ на голосовые запросы пользователя передавать ему объемную визуальную информацию, что и является решаемой поставленной задачей.

Для достижения этой цели устройство имеет модуль вывода визуальной информации, выполненный в виде объемного дисплея, а микропроцессор имеет модуль обработки визуальной информации для вывода ее на объемный дисплей.

Благодаря данным выгодным характеристикам появляется возможность в ответ на голосовые запросы пользователя не только подбирать и озвучивать релевантный ответ, но также выводить на объемный дисплей соответствующую визуальную информацию. Например, при запросе «Какая погода» - показывать ситуацию в данный момент, например, в виде карты осадков. При этом модуль обработки визуальной информации для вывода ее на объемный дисплей специально обрабатывает видеопоток найденной в интернете видеоинформации таким образом, что его можно было передавать именно на объемный дисплей, в отличие от плоского дисплея, для которого основной массив видеоинформации и существует.

Существует вариант изобретения, в котором объемный дисплей выполнен в виде слепка головы персонажа, например, робота, или животного.

Благодаря данным выгодным характеристикам появляется возможность того, что изображение лица с мимикой, создаваемое устройством, в таком варианте может проецироваться на лицо персонажа.

Существует вариант изобретения, в котором объемный дисплей является сферическим.

Благодаря данным выгодным характеристикам появляется возможность реализации изобретения, в котором дисплей представляет собой шар. Это позволяет наблюдать его со всех сторон, за исключением, места закрепления сферического дисплея, и по одинаковым алгоритмам преобразовывать видеопоток, предназначенный для воспроизведения на плоских дисплеях в видепоток для сферического дисплея.

Существует еще и такой вариант изобретения, в котором устройство в себя проектор, который через зеркала и линзы передает изображение на внутреннюю поверхность сферического дисплея. Благодаря просвечивающему материалу дисплея изображение передается с внутренней на внешнюю сторону дисплея.

Благодаря данной выгодным характеристикам появляется возможность конкретной реализации осуществления возможности трансляции изображения на внутреннюю поверхность сферического дисплея.

Существует также вариант изобретения, в котором среди линз используется линза «Рыбий глаз».

Благодаря данной выгодной характеристике появляется еще одна возможность конкретной реализации осуществления возможности трансляции изображения на внутреннюю поверхность сферического дисплея.

Существует кроме того и такой вариант изобретения, в котором объемный дисплей выполнен в виде гибкого LED/OLED экрана.

Благодаря данной выгодной характеристике появляется альтернативная возможность конкретной реализации осуществления возможности трансляции изображения на поверхность сферического дисплея.

Существует кроме того и такой вариант изобретения, в котором объемный дисплей выполнен в виде экрана, реагирующего на прикосновения к нему пользователя (тач-скрин).

Благодаря данной выгодной характеристике появляется возможность при выводе визуальной информации легко ее видоизменять, например, менять масштаб, или дополнительно осуществлять ввод команд.

Существует, наконец, вариант изобретения, в котором устройство включает видеокамеру, соединенную с микропроцессором, который имеет модуль автоматического определения положения пользователя и его частей в пространстве.

Благодаря данной выгодной характеристике появляется возможность выводить на объемный дисплей визуальную информацию преимущественно с той стороны объемного дисплея, с которой находится пользователь. Также можно визуализировать лицо виртуально собеседник, глаза которого будет направлены на пользователя что повышает ощущение контакта.

Краткое описание чертежей.

Другие отличительные признаки и преимущества изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 схематично изображает функциональную схему компьютерного устройства коммуникации с пользователем, согласно изобретению,

- фигура 2 схематично изображает функциональную схему передачи изображения на внутреннюю поверхность объемного дисплея компьютерного устройства коммуникации с пользователем, согласно изобретению,

- фигура 3 схематично изображает альтернативный вариант функциональной схемы передачи изображения на внутреннюю поверхность объемного дисплея компьютерного устройства коммуникации с пользователем, согласно изобретению,

- фигура 4 схематично изображает еще один альтернативный вариант функциональной схемы передачи изображения на внутреннюю поверхность объемного дисплея компьютерного устройства коммуникации с пользователем, согласно изобретению,

- фигура 5 схематично изображает еще один альтернативный вариант функциональной схемы передачи изображения на внутреннюю поверхность объемного дисплея компьютерного устройства коммуникации с пользователем, согласно изобретению.

Согласно фигурам 1-5 компьютерное устройство коммуникации с пользователем, включающее в себя корпус 1, в котором размещен микрофон 2, соединенный с микропроцессором 3, имеющим модуль 4 распознавания речи пользователя, модуль 5 соединения с объединенной сетью, микропроцессор 3 соединен с динамиком 6. Устройство имеет модуль вывода визуальной информации, выполненный в виде объемного дисплея 7, а микропроцессор 3 имеет модуль 8 обработки визуальной информации для вывода ее на объемный дисплей 7.

Объемный дисплей преимущественно является сферическим. Но может быть также выполнен в виде антропоморфной головы, цилиндра, многогранника и иметь другие формы.

Устройство может иметь собственное питание или внешнее, на фигурах не показано.

На фигуре 1 условно показано выводимое объемное изображение земного шара 9. Также условно показан удаленный сервер 10, с которым происходит обмен данными.

Устройство в одном из вариантов своего осуществления включает в себя проектор 11, который через зеркало 12 и линзы 13 и 14 и 15 передает изображение на внутреннюю поверхность сферического дисплея, и благодаря материалу дисплея изображение передается на внешнюю сторону дисплея. См. фигуру 2.

Среди линз может использоваться линза «Рыбий глаз». Показана как позиция 15.

На фигуре 3 показан вариант с поворотом через зеркало 12.

На фигуре 4 показан вариант вывода изображения через сферическое зеркало 16.

На фигуре 5 показан еще один возможный вариант осуществления изобретения, в котором использован призма-делитель 19, которая разводит изображение из проектора на две полусферы через линзы 17 и 18.

Объемный дисплей может быть выполнен в виде гибкого LED/OLED экрана.

Объемный дисплей может быть выполнен в виде экрана, реагирующего на прикосновения к нему пользователя

Устройство может включать видеокамеру 19, соединенную с микропроцессором, который имеет модуль автоматического определения положения пользователя и его частей в пространстве.

Осуществление изобретения.

Компьютерное устройство коммуникации с пользователем работает следующим образом.

Этап А1. Пользователь обращается к устройству посредством голосовой команды на активацию.

Этап А2. Устройство реагирует готовностью, выдавая звуковой ответ и выводя на объемный дисплей визуальную информацию.

Этап А3. Пользователь задает вопрос.

Этап А4. Устройство в ответ на вопрос анализирует его, обращается к удаленному серверу, получает ответ, который преобразует в звуковой ответ и выводя на объемный дисплей визуальную информацию, соответствующую вопросу пользователя.

Опционально пользователь может также передавать управляющие команды путем касания дисплея, так можно менять масштаб, поворачивать изображение, наживать на интерактивные кнопки.

Опционально устройство может отслеживать положение пользователя по отношению к самому устройству и адаптировать изображение под местоположение пользователя, например, показывать текст именно со стороны пользователя, или выводить изображение его головы виртуального собеседника, который глазами смотрит на пользователя. Точно также устройство может автоматически генерировать изображение движения губ головы виртуального собеседника, а также различные эмоции.

Промышленная применимость.

Компьютерное устройство коммуникации с пользователем может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец компьютерного устройства коммуникации с пользователем.

Испытания опытного образца устройства показали, что он обеспечивает возможность в ответ на голосовые запросы пользователя передавать ему объемную визуальную информацию.

Это происходит за счет того, что устройство позволят производить:

1. автоматическое распознавание речи пользователя;

2. автоматическое распознавание смысла вопроса по относительно контекста;

3. автоматически генерировать синтез текстового ответа по заданному контексту, в том числе, обращаясь для этого к удаленному серверу;

4. автоматически генерировать синтез речи по тексту и заданной эмоции и отображать ее на объемный дисплей;

5. автоматически генерировать синтез мимики по речи и заданной эмоции и отображать ее на объемный дисплей;

6. производить автоматический расчет трехмерного изображения лица виртуального собеседника по мимике;

7. производить просчет наложения проекции лица виртуального собеседника на нелинейную маску изнутри;

8. производить обратную проекцию, когда проектор светит изнутри устройства на дисплей, который выполнен в виде маски. Маска может быть выполнена из прозрачного пластика и покрыта краской для экранов обратной проекции.

Таким образом, за счет того, что устройство имеет модуль вывода визуальной информации, выполненный в виде объемного дисплея, а микропроцессор имеет модуль обработки визуальной информации для вывода ее на объемный дисплей и достигается заявленный технический результат, а именно: возможность в ответ на голосовые запросы пользователя передавать ему объемную визуальную информацию.

Предлагаемое изобретение, в варианте, когда объемный дисплей выполнен в виде сферы, возможно использовать в качестве:

1. Пособия в школе, так как на нем удобно визуализировать планеты на астрономии, клетки на биологии, глобусом на географии и т.д.

2. Как просто сферический дисплей, который показывает объекты по запросу.

3. Как шарообразный персонаж типа «Смешарик», BB8 из «Звездных войн» и т. д., любой шарообразный персонаж, с которым можно вести диалог.

4. Как сферический дисплей, который показывает "Google street view" и другие 360° панорамы, статические или видео.

5. сферический дисплей, который показывает отображение записей с камеры 360°.

6. Может отображать 3D объекты, если отслеживать местоположение глаз смотрящего и перестраивать перспективу.

Предлагаемое изобретение, в варианте, когда объемный дисплей выполнен в виде антропоморфной головы, возможно использовать в качестве:

7. Информационного киоска, оно может вести диалог с посетителем на ресепшн.

8. Проморобота на выставке или в ритейле, оно может привлекать посетителей и продвигать услуги или товары.

Изобретение относится к компьютерным устройствам коммуникации с пользователем. Технический результат заключается в обеспечении возможности в ответ на голосовые запросы пользователя передавать ему объемную визуальную информацию из внешних источников, при этом адаптировать ее для вывода на объёмный дисплей. Такой результат достигается тем, что устройство имеет модуль вывода визуальной информации, выполненный в виде объемного дисплея, а микропроцессор имеет модуль обработки визуальной информации, выполненный с возможностью обработки видеопотока найденной в интернете видеоинформации, являющейся ответом на запрос пользователя, таким образом, что его можно было передавать именно на объемный дисплей. 7 з.п. ф-лы, 5 ил.

1. Компьютерное устройство коммуникации с пользователем, включающее в себя корпус, в котором размещен микрофон, соединенный с микропроцессором, имеющим модуль распознавания речи пользователя, модуль соединения с объединенной сетью, устройство имеет модуль вывода визуальной информации, выполненный в виде объемного дисплея, а микропроцессор имеет модуль обработки визуальной информации для вывода ее на объемный дисплей, отличающееся тем, что микропроцессор соединен с динамиком для коммуникации с пользователем, при этом модуль обработки визуальной информации для вывода ее на объемный дисплей выполнен с возможностью обработки видеопотока найденной в интернете видеоинформации, являющейся ответом на запрос пользователя, таким образом, что его можно было передавать именно на объемный дисплей.

2. Устройство по п. 1, отличающееся тем, что объемный дисплей является сферическим.

3. Устройство по п. 2, отличающееся тем, что устройство включает в себя проектор, который через зеркала и линзы передает изображение на внутреннюю поверхность сферического дисплея.

4. Устройство по п. 3, отличающееся тем, что среди линз используется линза «Рыбий глаз».

5. Устройство по п. 1, отличающееся тем, что объемный дисплей выполнен в виде гибкого LED/OLED экрана.

6. Устройство по п. 1, отличающееся тем, что объемный дисплей выполнен в виде экрана, реагирующего на прикосновения к нему пользователя.

7. Устройство по п. 1, отличающееся тем, что объемный дисплей выполнен в виде слепка головы персонажа, например робота, или животного

8. Устройство по п. 1, отличающееся тем, что устройство включает видеокамеру, соединенную с микропроцессором, который имеет модуль автоматического определения положения пользователя и его частей в пространстве.