СПОСОБ АДАПТИВНОЙ НАВИГАЦИИ В МНОГОМЕРНОМ ПРОСТРАНСТВЕ КОМПЬЮТЕРНЫХ МОДЕЛЕЙ Российский патент 2022 года по МПК G06F3/01 G06F3/484 

Изобретение относится к способам взаимодействия человек-компьютер на основе графических пользовательских интерфейсов для управления изображениями трехмерных объектов в пространстве.

Известны подходы, использующие информацию, касающуюся движения различных частей тела в качестве средства навигации оператора в пространстве. Так в патенте США US7460940 [1], описывается метод анализа характеристик движения глаз, учитывающий положение головы водителя транспортного средства. Обнаружение и количественная оценка положения головы водителя и движений его глаз производятся в отношении объектов окружающей среды. Важным моментом здесь оказывается предварительная оценка местоположения значимых объектов. Области внимания, или значимые для водителя объекты могут находиться внутри или снаружи транспортного средства. Такие указатели могут идентифицировать органы управления или пространственные области дорожного полотна. Движения головы анализируются количественно по отношению к некоторому исходному положению с целью выявления областей, к которым водитель проявил интерес. Технический уровень характеризуется здесь учетом совместного движения головы и глаз, а также наличием механизма выявления зон повышенного внимания.

Известны также технические решения, учитывающие комплекс двигательной активности взгляда человека и нажатия клавиш, как это сделано в изобретении US9274598 [2]. Предметом изобретения здесь стал метод наведения фокуса активности пользователя графического интерфейса. При этом взгляд используется как дополнительный, неявный канал управления. Пользователь смотрит на целевой объект в виде кнопки в графическом пользовательском интерфейсе, а затем нажимает клавишу ручного выбора. После нажатия клавиши выбора применяется статистический анализ для определения наиболее вероятного целевого объекта. Если выделенный объект является целевым, пользователь может выбрать его, повторно нажав клавишу выбора. Если выделенный объект не является целевым, пользователь может выбрать другой объект, используя дополнительные клавиши для перехода к намеченному целевому объекту.

В нашем случае наиболее близким решением по технической сущности является система, использующая биомеханические условия движения глаз человека для взаимодействия с реальными и виртуальными объектами, представленная в патенте США US10564714B2 [3]. Здесь решается задача определения того, насколько действия человека, в первую очередь с точки зрения движения глаз, являются целенаправленными. При этом манипуляции с традиционными системами ввода данных, такими как мышь или клавиатура, оказываются в наибольшей степени детерминированы, а движение человека с точки зрения глазодвигательной активности – в наименьшей. Предметом изобретения является механизм повышения определенности движения глаза пользователя графического интерфейса за счет опоры на традиционные устройства ввода, такие как клавиатура.

В качестве ограничения этого изобретения можно указать высокую сложность и стоимость реализации механизма достаточно точной фиксации движения глаз, отсутствие механизма калибровки во время использования, а также отсутствие учета некоторых характеристик двигательной активности как глаза, так и различных частей тела, участвующих в перемещении взора. В данном случае совершенно не учитывается биоэлектрическая составляющая активности мускулатуры. Обращает на себя внимание тот факт, что в изобретениях, направленных на осуществление навигации в графическом интерфейсе, как правило не используется тот факт, что целевые объекты, принимающие на себя фокус внимания пользователя, могут быть обобщены как часть среды, в которой они размещаются. При этом изменение пространственных характеристик этой среды не рассматривается в качестве цели действия оператора графического интерфейса. Эта проблема становится особенно критичной в приложениях, когда объекты расположены в виртуальном трехмерном пространстве, отображаемом на плоскости экрана. В этом случае изменение положения среды, вмещающей целевые объекты, становится одной из основных задач навигации в трехмерном интерфейсе. В традиционных приложениях эта задача решается последовательно с задачей выбора целевых объектов и требует постоянного переключения внимания пользователя графического интерфейса с положения среды к положению объектов, содержащейся в этой среде. Это приводит к снижению производительности графического интерфейса и повышению напряжения оператора, связанного с необходимостью непрерывного переключения внимания.

Задачей, на решение которой направлено изобретение, является создание способа адаптивной навигации в многомерном пространстве компьютерных моделей для повышения технической системы, выполняющей функции одновременного выполнения двух навигационных задач трехмерного графического интерфейса пользователя – манипуляции с целевым объектом и изменение положения, масштаба точки взора и других характеристик среды его отображения.

Технический результат, достигаемый приведенной совокупностью признаков, заключается в повышении степени концентрации пользователя многомерного графического интерфейса и снижении психофизиологических нагрузок, связанных с постоянным переключением внимания и контекста управления в системе целевые объекты – среда отображения.

Указанный технический результат достигается за счет того, что способ адаптивной навигации в многомерном пространстве компьютерных моделей учитывает по крайней мере два информационных канала, один из которых направлен на манипуляции целевыми объектами, а второй предназначен для изменения положения среды отображения этих объектов, при этом канал целевых объектов получает управляющую информацию от одной или двух рук пользователя графического интерфейса, а канал среды отображения объектов учитывает изменения положения туловища и головы пользователя. Учет двигательной активности различных частей тела человека – рук, головы и туловища производится при помощи датчиков двигательной активности, а также путем учета электрической активности мускулатуры, обеспечивающей движение тела человека (миографии). Управляющие воздействия настраиваются пользователям по величине проявления для каждого информационного канала и опосредованы при помощи модуля управления, учитывающего направление движений, их амплитуду, частоту возникновения, степень согласованности, признаки скрытых двигательных реакций. Алгоритмы опосредования управляющих воздействий строятся на принципах статистического обобщения и машинного обучения, получая на вход набор оцифрованных сигналов от датчиков двигательной активности и миографии и выдавая на выходе команды, одновременно и параллельно управляющие средой отображения и целевыми объектами. В качестве обучающих воздействий алгоритмы модуля адаптации используют характерные паттерны активности пользователя графического интерфейса а также частоту и величину их проявления, характерную как для всех пользователей, так и индивидуальную для каждого конкретного человека.

Изобретение поясняется рисунком (Фиг. 1), на котором показана схема взаимосвязи составных частей.

Подсистема датчиков движения предназначена для учета двигательной активности пользователя графического интерфейса и может быть реализована в виде микроэлектромеханических акселерометров и гироскопов, инклинометров, электромагнитных устройств отслеживания движения, СВЧ устройств и видеокамер. Датчики движения устанавливаются на наиболее информативные с точки зрения учета двигательной активности участки руки, головы и тела пользователя графического интерфейса. Возможно также использование таких датчиков как составной части одежды или объектов окружающей среды. Результаты работы датчиков движения в оцифрованном виде передаются по проводным или беспроводным каналам связи в модуль управления.

Подсистема миографических датчиков предназначена для оценки состояния мышц человека-оператора с точки зрения реализации его двигательной активности, в том числе относящейся к управляющим воздействиям. Подсистема миографических датчиков представляет собой набор из одного или более миографических электродов, усилителя биопотенциалов и амплитудно-цифрового преобразователя. Миографические датчики могут быть выполнены в виде электродов, установленных на поверхности кожи человека над крупными скелетными мышцами. Усилитель биопотенциалов предназначен для усиления сигналов, передаваемых при помощи проводного соединения от миографических датчиков до уровня, достаточного для работы амплитудно-цифрового преобразователя. Результаты преобразования передаются в модуль управления. Миографические данные не дублируют информацию от подсистемы датчиков движения, так как способны учитывать скрытые двигательные реакции, не реализуемые пользователем графического интерфейса в качестве движений.

Модуль управления получает на вход информацию о двигательной активности пользователя графического интерфейса и выдает на выход управляющую информацию по двум каналам одновременно. Один из каналов отвечает за выбор и изменение целевых объектов, второй – за изменение среды отображения целевых объектов. В зависимости от состояния модуля регулировки управляющих воздействий вклад отдельных датчиков или групп датчиков двигательной активности или активности мускулатуры на уровне модуля управления может быть усилен или ослаблен. Еще одним источником изменения логики использования управляющих сигналов является модуль адаптации, связанный с блоком управления двунаправленной связью.

Модуль адаптации предназначен для учета специфики двигательной активности пользователя графического интерфейса в избирательном изменении воздействий, управляющих элементами графического интерфейса. Модуль адаптации реализует статистические алгоритмы и алгоритмы машинного обучения, обучающиеся на характерных паттернах двигательной активности пользователя и информации о динамике его взаимодействии с модулем регулировки управляющих воздействий.

Канал целевых объектов предназначен для передачи управляющих воздействий от модуля управления к тем объектам интерфейса адаптивной навигации, которые подлежат преобразованиям. Под преобразованиями здесь подразумевается создание целевых объектов, их уничтожение, перемещение, трансформации, слияние и т.д.

Канал среды отображения целевых объектов предназначен для доставки управляющих воздействий от блока управления к графическому интерфейсу пользователя. Все управляющие воздействия передаются от модуля управления на компьютерное устройство, реализующее двух или трехмерное пространство компьютерных моделей в виде графического интерфейса. Передача может быть реализована при помощи стандартных проводных или беспроводных средств связи. Передача управляющих воздействий от портов компьютерного устройства к приложению, реализующему графический интерфейс пользователя, может быть выполнена на уровне операционной системы, а также при помощи программного интерфейса приложения. В качестве примера можно привести среду трехмерного моделирования Blender, в состав которой включен интерпретатор языка Python обеспечивающий доступ к коммуникационным портам персонального компьютера и программный интерфейс, обеспечивающий взаимодействие с любыми объектами и средой их размещения.

Источники информации

1. Патент US7460940B2, США МПК 2006.01 B60R22/0. Method and arrangement for interpreting a subjects head and eye activity / Petter Larsson, Trent Victor; заявитель Volvo Technology Corporation. – № 10/605,637; заявл. 15.10.2003; опубл. 02.12.2008

2. Патент US9274598B2, США МПК G09G5/00, G06K9/00; A61B3/14. System and method for selecting and activating a target object using a combination of eye gaze and key presses / David Beymer, Stephen P. Farrell, Shumin Zhai; заявитель International Business Machines Corporation. – № 10/835,483; заявл. 29.04.2004; опубл. 01.03.2016.

3. Патент US10564714B2, США МПК GO6F3/01 (2006.01), МПК GO6F3/0488 (2013.01) Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects / Lewis James Marggraff , Nelson George Publicover, Spencer James Connaughton, Nathan Lord, Peter Milford, Ivan Maleev; заявитель GOOGLE LLC. – № 15/237,581; заявл. 15.06.2016; опубл. 18.02.2020.

Изобретение относится к способам управления изображениями трехмерных объектов в пространстве. Техническим результатом заявленного решения является увеличение скорости навигации в компьютерном многомерном пространстве и повышение точности операций управления объектами. Технический результат достигается тем, что в заявленном способе предусмотрена подсистема датчиков движения, а также подсистема миографических датчиков, которые фиксируют параметры двигательной активности рук, головы и туловища пользователя графического интерфейса, при этом информацию разделяют управляющим модулем на два информационных канала, один из которых направлен на манипуляции целевыми объектами графического интерфейса, а второй предназначен для изменения положения среды отображения этих объектов, при этом канал целевых объектов получает управляющую информацию от рук пользователя, а канал среды отображения объектов учитывает изменения положения его головы и туловища с возможностью настроек воздействий. 1 з.п. ф-лы, 1 ил.

1. Способ адаптивной навигации в многомерном пространстве компьютерных моделей, содержащий подсистему датчиков движения, подсистему миографических датчиков, канал целевых объектов, канал среды отображения целевых объектов, модуль управления, модуль адаптации, модуль регулировки управляющих воздействий, отличающийся тем, что с помощью подсистемы датчиков движения и подсистемы миографических датчиков фиксируют параметры двигательной активности рук, головы и туловища пользователя графического интерфейса, после чего поступающую информацию разделяют управляющим модулем на два информационных канала, один из которых направлен на манипуляции целевыми объектами графического интерфейса, а второй предназначен для изменения положения среды отображения этих объектов, при этом канал целевых объектов получает управляющую информацию от рук пользователя, а канал среды отображения объектов учитывает изменения положения его головы и туловища, в то время как модуль регулировки управляющих воздействий настраивают по величине проявления для каждого канала и управляющие воздействия опосредуют модулем адаптации, использующим данные о действиях пользователя для изменения характера управляющих воздействий в будущем.

2. Способ адаптивной навигации в многомерном пространстве компьютерных моделей по п. 1, отличающийся тем, что с помощью модуля адаптации учитывают признаки скрытых двигательных реакций, фиксируемых подсистемой миографических датчиков.