Операторный универсальный интеллектуальный 3-D интерфейс Российский патент 2019 года по МПК G06F3/346 

Изобретение относится к области бесконтактного взаимодействия пользователя с управляемыми устройствами в распределенной мультиагентной информационной сети, а именно, к управлению локальной операционной системой, распределенной сетевой вычислительной системой, роботами, АСУ производства.

Известна заявка на патент US 20100020078, в которой раскрываются система и метод для создания трехмерной карты объекта [1]. Система содержит (фиг. 1) устройство изображения (1), которое генерирует и проецирует множество лучей на объект и захватывает изображение, отраженное объектом.

Процессор (2) обрабатывает данные изображения, генерируемые устройством изображения, для воссоздания 3D-карты объекта. Процессор изображения вычисляет 3D-координаты точек на поверхности объекта, определяя различие в интенсивности освещения. Процессор изображения может быть отдельным устройством или микросхемой в корпусе устройства изображения. 3D-карта (3), получаемая процессором изображения, может быть использована для различных назначений. Например, карта может быть направлена на выходное устройство, такое как дисплей. Если объект (4) это тело или его часть, например, кисть руки, система может быть использована для обеспечения, основанного на жестах пользовательского интерфейса, для интерактивного управления приложением, вместо элементов с тактильным интерфейсом, таких как мышь или джойстик.

Известна заявка на патент US 2010199228 "Набор текста жестами" [2]. Согласно описанию, система (фиг. 2) состоит из вычислительного средства (5) и устройства захвата (6). Вычислительное средство может быть компьютером, игровой системой или консолью и может включать аппаратные и/или программные компоненты.

Согласно описанию данного метода, устройство захвата связано с вычислительным средством через канал связи. Это может быть проводная связь (например, USB соединение, Firewire соединение, кабельное Ethernet соединение) или беспроводное соединение. Устройство захвата генерирует модель скелета и передает по каналу связи вычислительному средству, которое получает данные глубины для распознавания жеста пользователя (7) для управления приложением (8). Вычислительное средство может включать распознаватель жестов. Захваченные данные могут сравниваться с жестами в распознавателе для управления приложениями.

Известен патент RU 2455676 "Способ управления устройством с помощью жестов и 3D-сенсор для его осуществления»". Способ управления устройством с помощью жестов (фиг. 3), подаваемых пользователем (9), заключается в том, что с помощью 3D-ceнcopa (10) захватывают трехмерное изображение, распознают жест (11) и выдают на управляемое устройство соответствующую жесту команду, при этом в окружающем пользователя пространстве выделяют, по меньшей мере, одну сенсорную область (12), с каждой сенсорной областью ассоциируют, по меньшей мере, один ожидаемый жест и с каждой комбинацией сенсорной области и жеста ассоциируют одну команду, определяют положение глаз пользователя, положение его головы и положение его руки, определяют условную линию взгляда (13), исходящую из органа зрения пользователя и направленную в видимую пользователем точку окружающего пространства, проверяют, направлена ли условная линия взгляда на сенсорную область, анализируют подаваемый рукой пользователя жест и в случае, если жест подают одновременно с наведением условной линии взгляда на сенсорную область, то на управляемое устройство выдают команду, ассоциированную с данной комбинацией сенсорной области и поданного жеста [3].

Известен патент US 8933876 "Трехмерный пользовательский интерфейс управления сессией". Способ (фиг. 4) описывает процесс бесконтактного взаимодействия пользователя (14) с компьютером (15) посредством жестов рук (16), расположенных в поле зрения датчика (17), подключенного к компьютеру. После обнаружения жеста бесконтактный трехмерный пользовательский интерфейс переходит из одного состояния в другое [4].

Патент US 8933876 наиболее близок к предлагаемому изобретению и принят за прототип.

Недостатком прототипа и прочих известных устройств для распознавания жестов является использование внешних интерфейсов для передачи изображения, таких как S-video кабель, коаксиальный кабель, USB кабель и т.п. Достаточно большой объем передаваемых данных и пропускная способность внешнего интерфейса ограничивают скорость реакции системы на жесты пользователя, и, соответственно, скорость работы управляющей системы в целом.

Еще одним недостатком существующих систем для определения жестов является проблема распознавания одним техническим устройством одновременно и крупных жестов и мелких жестов. Указанная проблема связана, в основном, с низким разрешением воспринимаемого 3D-изображения, с ограниченной точностью определения координат и с недостаточным быстродействием системы в целом.

Предложенный способ управления с помощью жестов (фиг. 5), подаваемых оператором(ами) (18), заключается в том, что на передающей стороне (19), соединенной каналом связи (20) с приемной стороной (21), через который сигнал передается в минимально избыточной форме объемом 1-10 Мб, производится распознавание положения оператора(ов) в заданном операторном, рабочем и глобальном (например геопозиционном) пространствах. На основе распределенных баз данных пространственных образов (22) и соответствующих баз знаний (23) формируются кодовые посылки координат узлов скелета оператора(ов), имя оператора(ов) (пространственного образа), управляющие сигналы виртуального устройства (мышь (26), клавиатура (27), джойстик (28), сенсорный экран (29), микрофон (30), kinect (31)), данные обмена распределенных баз знаний и баз данных, данные координат рабочих объектов, присутствующих в операторном пространстве, их наименование и описание состояния, а также данные взаимодействия объектов и субъектов мультиагентной информационной среды. На приемной стороне на основе полученных от передающей стороны данных с помощью обратных преобразований интеллектуальной обработки, восстанавливается исходный информационный поток.

Главным элементом системы является интеллектуальный модуль (24). На вход ИМ поступает 3D-видео и аудио информация, полученная с 3D сканера (25). Функции интеллектуального модуля:

1) Выделить из общего потока информации часть, соответствующую отдельным объектам (субъектам) 3D-операторного пространства.

2) Распознавание выделенных объектов на основе распределенной базы данных.

3) Для оператора(ов) и рабочего объекта(ов) определяются координаты скелетных узлов, которые позволяют однозначно определить их положение.

4) На основе полученных данных, в соответствии с установленной спецификацией, распознаются команды и передаются в виде кодовых посылок на приемную сторону.

5) Дополнение БД и передача по каналу связи необходимой информации.

6) ИМ отслеживает динамические изменения координат объектов (субъектов) операторного пространства, сохраняет в БД информацию об этих изменениях. На основе накопленной в БД информации и на основе алгоритмов машинного обучения получает новые знания, пополняя соответствующую БЗ.

Задачей, на решение которой направлен заявленный способ, является распознавание, кодирование, передача и воспроизведение управляющих действий оператора(ов) для локальной вычислительной системы (32), распределенной сетевой вычислительной системы (33), роботов (34), АСУ производства (35).

Технический результат заключается в возможности с помощью данного операторного универсального интеллектуального 3D-интерфейса:

- обеспечить универсальное, наиболее приближенное к естественному человеческому взаимодействию оператора с различными техническими системами (локальная вычислительная система, распределенная сетевой вычислительная система, роботы, АСУ производства) на основе однотипных движений, жестов, речевых команд, а также управлять этими системами в режиме генерации данных любых обычных аппаратных средств операторного управления (клавиатура, мышь, джойстик, Kinect, сенсорный экран и т.д.).

- значительно сократить количество передаваемой по каналу связи информации путем интеллектуального выделения и передачи координат скелетных узлов в режиме реального времени, которые используются для формирования и распознавания заданного перечня команд управления, и передачи изменяющейся информации о 3D-пространственных образах оператора(ов) операторного пространства и рабочего объекта(ов), которые необходимы для интерпретации сцен операторного управления.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Заявка на патент US 20100020078 А1, кл. G09G 5/00, G06T 17/00. «Depth mapping using multi-beam illumination». Alexander Shpunt.

2. Заявка на патент US 20100199228 A1, кл. G06F 17/28, G06F 3/033. «Gesture Keyboarding». Stephen G. Latta.

3. Патент RU 2455676, кл. G06F 3/00. «Способ управления устройством с помощью жестов и 3D-сенсор для его осуществления». А.В. Валик, П.А. Зайцев, Д.А. Морозов.

4. Патент US 8933876 В2, кл. G06F 3/00, G06F 3/01, G09G 5/00, G06F 3/03. «Three dimensional user interface session control». Micha Galor, Jonathan Pokrass, Amir Hoffhung.

Изобретение относится к области бесконтактного взаимодействия пользователя с управляемыми устройствами. Технический результат заключается в обеспечении универсального интеллектуального 3D-интерфейса, обеспечивающего универсальное, наиболее приближенное к естественному, человеческое взаимодействие оператора с различными техническими системами. Такой результат достигается тем, что подают управляющий сигнал пользователем, захватывают трехмерное изображение, распознают команды и передают на управляемое устройство соответствующую команду. Сигнал передается в минимально избыточной форме объемом 1-10 Мб, при этом на управляемом устройстве с помощью обратных преобразований интеллектуальной обработки восстанавливается исходная команда, при этом операторный универсальный интеллектуальный 3D-интерфейс в режиме реального времени формирует, дополняет, изменяет распределенную базу данных пространственных образов оператора операторного пространства и рабочего объекта, развивает базу знаний. 5 ил.

Операторный универсальный интеллектуальный 3D-интерфейс, включающий подачу управляющего сигнала (жеста, голосовой команды, движения) пользователем, захват трехмерного изображения, распознавание команды и передачу на управляемое устройство соответствующей команды, отличающийся тем, что сигнал передается в минимально избыточной форме объемом 1-10 Мб, при этом на управляемом устройстве с помощью обратных преобразований интеллектуальной обработки восстанавливается исходная команда, при этом операторный универсальный интеллектуальный 3D-интерфейс позволяет в режиме реального времени формировать, дополнять, изменять распределенную базу данных пространственных образов оператора операторного пространства и рабочего объекта, развивать базу знаний как для задач интеллектуального компьютерного управления интернет взаимодействия, так и для АСУ производства и робототехники.