СПОСОБ ОБРАБОТКИ ДАННЫХ ДЛЯ ОПРЕДЕЛЕНИЯ ВИЗУАЛЬНЫХ РИСУНКОВ НА ВИЗУАЛЬНОЙ СЦЕНЕ Российский патент 2011 года по МПК G01C23/00 

Область техники

Настоящее изобретение касается способа и системы обработки данных, характеризующих взаимодействие между пользователем и окружающей его рабочей средой.

Предшествующий уровень техники

В различных областях (авиация, космонавтика, вождение автомобиля, судовождение…) взаимодействие пользователя, управляющего воздушным, космическим, наземным или морским транспортным средством является предметом тщательного изучения как с точки зрения человеческого аспекта, так и в плане аспекта машины, чтобы усовершенствовать, например, интерфейс между пилотом и окружающей его средой на борту (приборные панели и т.д.) или приемы пилотирования (например, выполнение полета в самолете).

Были предприняты исследования для улучшения эргономики этого интерфейса для повышения комфорта и безопасности для пользователя и, следовательно, для пассажиров.

Например, ведутся поиски усовершенствования интерфейсных элементов приборной панели транспортного средства (например, приборы пилотирования и навигационные приборы в самолете), чтобы они могли предоставлять пилоту больше информации, обеспечивать эргономичность предоставляемой информации и ее надежность, чтобы максимально избавить его от усталости и стресса.

В этом контексте изучения взаимодействия «пилот - окружающая среда» на транспортном средстве и в целом взаимодействия «пользователь - окружающая рабочая среда» представляется интересным иметь новую методологию изучения этого взаимодействия.

Краткое изложение существа изобретения

Задачей настоящего изобретения является создание способа обработки данных, характеризующих взаимодействие между пользователем и окружающей его рабочей средой.

Объектом настоящего изобретения является способ обработки данных, который характеризуется тем, что

осуществляют сбор данных, характеризующих положение во времени взгляда пользователя на визуальные элементы визуальной сцены, являющейся частью окружающей его рабочей среды, во время взаимодействия между пользователем и, по меньшей мере, одним интерфейсным элементом окружающей рабочей среды, при этом сбор данных осуществляет окулометрический прибор,

осуществляют обработку полученных таким образом данных для определения, по меньшей мере, одного визуального рисунка, содержащего последовательность визуальных элементов и повторяющегося несколько раз в течение времени.

Таким образом, определяют один или несколько визуальных рисунков, которые повторяются по ходу сценария, на основании окулометрических данных, полученных на пользователе (например, пилоте), взаимодействующем, по меньшей мере, с одним интерфейсным элементом окружающей его рабочей среды (например, транспортного средства) в сценарии использования этого интерфейсного элемента.

Визуальными элементами визуальной сцены являются, например, интерфейсные элементы рабочей окружающей среды (например, интерфейсные элементы приборной панели транспортного средства), зона нескольких из этих элементов и/или различные зоны одного и того же интерфейсного элемента и/или визуальная информация (статистическая или динамическая), предоставляемая интерфейсными элементами.

Для пилота летательного аппарата визуальные элементы могут также включать визуальную внешнюю среду.

Визуальный рисунок или визуальные рисунки, определяемые согласно изобретению, содержат ценную информацию, которая может быть использована, например, чтобы:

подтвердить существующие процедуры использования транспортного средства (например, процедуры выполнения полета в самолете);

предложить варианты использования, если идентичные рисунки определены большинством пользователей;

произвести оценку пользователей;

выявить варианты использования интерфейсных элементов, например приборов приборной панели, и транспортного средства и варианты сбора информации на внешней визуальной сцене (рулежная дорожка, дорожные знаки и разметка, присутствующие транспортные средства, пешеходы и т.д.);

лучше понять результаты, полученные при помощи других методов оценки взаимодействия «пользователь - интерфейсные элементы» и окружающей среды транспортного средства в целом.

Необходимо отметить, что качественную обработку данных можно осуществлять с единственной целью определить все визуальные рисунки, какими бы они ни были, или отдельные визуальные рисунки.

Можно также осуществлять качественную обработку для определения визуального рисунка, содержащего один или несколько визуальных элементов, отвечающих, по меньшей мере, одному заранее определенному критерию.

Так, например, в навигационном приборе летательного аппарата можно выявить визуальные рисунки, содержащие в качестве визуального элемента конец будущей траектории полета летательного аппарата.

Согласно изобретению способ содержит предварительный этап статистической обработки полученных данных и этап обработки данных с целью определения, по меньшей мере, одного визуального рисунка, что осуществляют в зависимости от результата этапа статистической обработки.

Статистическая обработка позволяет произвести сортировку полученных окулометрических данных и, таким образом, облегчить качественную обработку данных, поскольку последнюю в этом случае осуществляют на основании полученных данных, которые были обработаны статистически (количественная обработка).

Следовательно, качественная обработка требует в этом случае более короткого времени для вычислений и меньшего объема вычислений.

Согласно отличительному признаку этап статистической обработки полученных данных позволяет определить число появлений некоторых из визуальных элементов, наблюдаемых пользователем, в течение времени.

Таким образом, производят выборку визуальных элементов в зависимости от их значения и/или интереса пользователя.

Согласно изобретению обработку данных для определения, по меньшей мере, одного визуального рисунка осуществляют на основании визуальных элементов, число появлений которых является наибольшим.

Статистическая обработка позволяет определить визуальные рисунки визуальной сцены, чаще всего наблюдаемые пользователем в сценарии или варианте использования, определенном для его рабочей среды, например, его транспортного средства.

Можно также производить обработку данных на основании визуальных элементов, отвечающих другому критерию.

Согласно отличительному признаку этап сбора данных поставляет данные о зрительном поведении пользователя в отношении некоторых из визуальных элементов, наблюдаемых пользователем в течение времени.

Учитывая зрительное поведение пользователя, во время качественной обработки данных получают более точный визуальный рисунок, поскольку он содержит большее количество информации.

Действительно известно, каким образом пользователь наблюдает тот или иной визуальный элемент, то есть фиксируя на нем взгляд, сканируя его взглядом или отслеживая его взглядом. Таким образом, можно использовать зрительное поведение пользователя (зарегистрированное окулометрическим прибором) в качестве критерия для определения значения данного визуального элемента по сравнению с другим визуальным элементом.

Согласно отличительному признаку этап сбора данных осуществляют в течение данного интервала времени.

Данные собирают за период времени наблюдения в ходе сценария или варианта использования рабочей среды пользователя, например его транспортного средства или экрана компьютера.

Согласно отличительному признаку этап сбора данных осуществляют в рамках сценария, связанного с ходом данной процедуры использования рабочей окружающей среды пользователя (например, варианта использования транспортного средства, экрана или мобильного телефона).

Пользователя, например пилота, помещают в данную ситуацию, чтобы оценить его взаимодействие с одним или несколькими интерфейсными элементами окружающей рабочей среды, например приборной панели транспортного средства, при помощи окулометрического анализа.

Согласно изобретению пользователем является пилот транспортного средства, взаимодействующий с интерфейсными элементами приборной панели транспортного средства. Например, когда моделируют кабину самолета и собирают окулометрические данные на основании разработанной модели, то определение визуальных рисунков можно использовать для подтверждения/усовершенствования модели.

Согласно изобретению транспортное средство является автомобилем.

Объектом настоящего изобретения является также система обработки данных, характеризующих взаимодействие между пользователем и окружающей его рабочей средой, характеризующаяся тем, что содержит

прибор сбора окулометрических данных, характеризующих положение по времени взгляда пользователя на визуальные элементы визуальной сцены, являющейся частью окружающей рабочей среды во время взаимодействия между пользователем и, по меньшей мере, одним интерфейсным элементом окружающей рабочей среды,

средства обработки полученных данных для определения, по меньшей мере, одного визуального рисунка, содержащего последовательность визуальных элементов и повторяющегося несколько раз в течение времени.

Эта система характеризуется теми же аспектами и преимуществами, что были представлены выше при описании способа, и их повторное перечисление опускается.

Краткое описание чертежей

Другие отличительные признаки и преимущества изобретения будут более очевидны из нижеследующего описания, представленного в качестве неограничительного примера выполнения, со ссылками на прилагаемые чертежи, на которых:

фиг.1 изображает блок-схему последовательности операций способа обработки данных согласно изобретению;

фиг.2 - блок-схему системы обработки данных согласно изобретению;

фиг.3 - схему окулометра 16, показанного на фиг.2, согласно изобретению;

фиг.4 - пример экрана для визуального отображения, который будет служить основой примеров выполнения, представленных далее, согласно изобретению;

фиг.5 - гистограмму, отображающую число появлений в зависимости от типа события, появляющегося на экране, показанном на фиг.4, согласно изобретению;

фиг.6 - схему обнаружения визуальных рисунков согласно изобретению;

фиг.7 - схематичное изображение на экране, показанном на фиг.4, визуального рисунка, обнаруженного по схеме, показанной на фиг.6, согласно изобретению;

фиг.8 - схему обнаружения визуальных рисунков (без учета зрительного поведения) согласно изобретению;

фиг.9 - схематичное изображение на экране, показанном на фиг.4, визуального рисунка, обнаруженного по схеме, показанной на фиг.8, согласно изобретению;

фиг.10 - схему обнаружения визуальных рисунков с учетом соответствующего зрительного поведения согласно изобретению;

фиг.11 - схематичное изображение на экране, показанном на фиг.4, визуального рисунка, обнаруженного по схеме, показанной на фиг.10.

Описание предпочтительных вариантов воплощения изобретения

Настоящее изобретение находит предпочтительное применение в кабинах летательных аппаратов для оценки визуальных взаимодействий между пилотом (пользователем) и одним или несколькими бортовыми приборами (рабочей средой) путем сбора и обработки окулометрических данных.

Общий алгоритм способа в соответствии с настоящим изобретением показан на фиг.1 и содержит три основных этапа.

Во время первого этапа Е1 осуществляют сбор окулометрических данных при помощи окулометрического прибора, который будет подробно описан со ссылками на фиг.2 и 3.

Эти данные отражают положение по времени взгляда (зрительного пути) пилота на визуальных элементах визуальной сцены, являющейся частью окружающей его рабочей среды во время взаимодействия пилота с одним или несколькими интерфейсными элементами кабины самолета.

В частности, сбор данных позволяет отслеживать взгляд пилота, который смотрит на один или несколько бортовых приборов кабины, и идентифицировать визуальные элементы, привлекшие внимание пилота. Ниже будет подробнее описан пример, в котором окулометрические данные характеризуют положение взгляда пилота, наблюдающего разные визуальные элементы одного бортового прибора.

Алгоритм, показанный на фиг.1, содержит второй этап Е2, во время которого производят количественную обработку предварительно полученных окулометрических данных.

Этот этап, который иногда можно пропускать, позволяет осуществить статистическую обработку окулометрических данных с получением, например, в виде гистограмм, числа появлений некоторых из визуальных элементов и даже всех визуальных элементов, наблюдаемых пилотом в течение времени.

Например, эта статистическая обработка позволяет определить, что пилот смотрел на траекторию самолета в воздухе 56 раз и на проекцию этой траектории на земле 15 раз.

Эта обработка производится, например, программой статистической сортировки, называемой “The Observer” и выпускаемый компанией Noldus Information Technology BV, Вагенинген, Нидерланды.

Для получения более полной информации по этой программе можно обратиться на сайт www.noldus.com.

На вход этой программы вводят полученные окулометрические данные, а также протокол эксперимента, а именно визуальные элементы визуальной сцены, наблюдаемой пилотом, и элементы его зрительного поведения, которые выражаются, например, фиксированием, сканированием или отслеживанием.

Следует отметить, что учет зрительного поведения пилота не всегда является необходимым в последующей обработке данных.

Следует также отметить, что во время этапа Е2 визуальные элементы и элементы поведения, вводимые в модуль количественной обработки, можно также получать из когнитивной модели, разработанной на основании кабины самолета.

Алгоритм содержит также третий этап Е3 качественной обработки данных, то есть либо окулометрических данных, полученных без количественной обработки данных на этапе Е2, либо окулометрических данных, полученных и обработанных количественно во время этапа Е2.

Качественная обработка данных позволяет в зависимости от выбранного заранее определенного критерия определить один или несколько визуальных рисунков, содержащих последовательность визуальных элементов визуальной сцены и одинаково повторяющихся во время данного интервала времени (период наблюдения).

Таким образом, если не производят предварительной количественной обработки, можно попытаться получить все визуальные рисунки, проявляющиеся в течение данного интервала времени, не учитывая частные критерии.

Вместе с тем можно определить визуальный рисунок или визуальные рисунки, содержащие один или несколько данных визуальных элементов, например, чтобы дать оценку полезности информации, предоставляемой пилоту прибором, в ходе проектирования.

Если учитывать результат статистической обработки на этапе Е2, то можно также определить один или несколько визуальных рисунков, содержащих данные визуальные элементы, например, визуальный элемент, связанный с проекцией траектории самолета на землю.

Можно также выявить визуальные рисунки, содержащие визуальные элементы, имеющие определенное статистическое значение.

Например, можно выявлять визуальные рисунки, содержащие визуальный элемент, появляющийся наибольшее число раз в течение времени (наибольшее число появлений) или два, или три первых визуальных рисунка, отвечающих этому определению.

Можно также попытаться выявить визуальные рисунки, содержащие визуальные элементы, имеющие другое статистическое значение, например, элементы, на которые пилот смотрит реже всего.

Качественную обработку на этапе Е3 можно осуществлять при помощи программы, называемой “Theme” и выпускаемой вышеупомянутой компанией Noldus.

Эта программа основана, в частности, на алгоритме поиска последовательности событий, в котором в данном интервале времени отдельно выявляют сначала первое событие.

После этого эта программа предусматривает поиск появления в течение этого интервала времени второго события, следующего за первым событием и проявляющегося в заданное время после появления первого события (таким образом, определяют второй интервал времени, меньший первого интервала времени).

После идентификации пары из первого и второго событий, происшедших в рамках второго интервала времени, таким же образом выявляют появление третьего события в течение первого интервала времени, которое тоже произошло после второго события в данное время (третий интервал времени) после появления второго события.

Таким образом, производят повторяющиеся действия для идентификации последовательностей событий.

Для получения более полной информации читатель может обратиться к статье под названием “Discovering hidden time patterns in behavior: T-patterns and their detection”, Magnus S. Magnusson, Behavior Research Methods, Instruments & Computers 2000, 32(I), стр. 93-110.

Предпочтительно качественную обработку на этапе Е2 осуществляют в несколько подэтапов:

1. Поиск визуальных рисунков, содержащих визуальный элемент N, выявленный в ходе статистической обработки (N=1, 2, 3…); этот поиск ведут по одному элементу за один раз;

2. Когда получают эти рисунки, осуществляют качественную обработку следующим образом:

а) учитывают данные, относящиеся к зрительному поведению (пополнение базы данных),

б) среди визуальных рисунков, идентифицированных на первом этапе и содержащих элемент N, учитывают зрительное поведение для поиска только нужных рисунков, состоящих из элементов N, M и R, при этом другие рисунки считаются, например, мало существенными.

Различные этапы алгоритма, показанного на фиг.1, осуществляют при помощи средств обработки данных (центральный процессор), связанных со средствами сбора данных и хранения этих данных (база данных, запоминающее устройство…).

Как показано на фиг.2 и 3, окулометрический прибор 10 позволяет регистрировать положение взгляда пилота 12 на визуальной сцене, что позволяет отслеживать различные визуальные элементы, наблюдаемые взглядом пилота, на интерфейсных элементах кабины, таких как бортовой прибор 14, а также на внешней визуальной среде. Этот прибор будет описан ниже со ссылками на фиг.4.

Окулометрический прибор 10 содержит аналоговое устройство 16, а именно окулометр, который регистрирует движения глаза пилота и выдает окулометрические данные на средства 17 обработки, упомянутые выше со ссылкой на фиг.1.

Окулометр содержит несколько элементов, показанных на фиг.3, а именно камеру 18, записывающую движения глаза, источник 20 инфракрасного излучения, излучающий инфракрасный луч в глаз, и камеру 22, записывающую визуальную сцену, наблюдаемую пилотом.

Таким образом, видеоданные, полученные при помощи камеры 18, записывающей движения глаза, и видеоданные, полученные при помощи камеры 22, записывающей визуальную сцену, наблюдаемую пилотом, накладываются друг на друга блоком 24 обработки видеоданных, и положение взгляда пилота в режиме реального времени отображается в виде указателя 26 (например, кружка или крестика), который перемещается по визуальной сцене, которую наблюдает пилот в момент видеосъемки.

Использование только одного окулометра, хотя и является достаточным для внешней визуальной среды, не дает достаточной точности, если необходимо регистрировать особенно мелкие детали пути взгляда пилота, например, при чтении текстов или считывании информации на специфических зонах экрана, такого как экран прибора 14.

Поэтому окулометр соединяют с генератором 28 магнитного поля для обеспечения максимальной точности (фиг.2).

Генератор 28 магнитного поля используют в качестве системы координат в трехмерном пространстве для улавливания положения головы пилота относительно координат различных поверхностей или плоскостей, образующих окружающую его реальную среду. Рассматриваемые поверхности и плоскости соответствуют экранам и панелям управления кабины, являющимся рассматриваемыми областями, которые можно разбить на указанные выше зоны и подзоны для каждого интерфейсного элемента. Координаты, соответствующие этим различным поверхностям и плоскостям, измеряют и вводят в трехмерную модель окружающей среды пилота.

Для анализа движений головы пилота 12 используют генератор 28 магнитного поля, а также приемное устройство 30, закрепленное на голове пилота при помощи шлема 32, и эти элементы в комбинации с вышеуказанным аналоговым устройством 16 (окулометром) позволяют добиться максимальной точности отображения положения взгляда пользователя на визуальных элементах визуальной сцены, такой как визуальная сцена на бортовом приборе 14.

В частности, приемное устройство 30, закрепленное на голове пилота, фиксирует точное положение головы на трехмерной модели.

Расстояние между приемным устройством 30 на голове и камерой 22, записывающей сцену, а также расстояние между приемным устройством 30 на голове и глазами пилота 12, вводится затем в трехмерную модель. Первое из вышеуказанных расстояний необходимо для осуществления настройки камеры относительно сцены, и второе расстояние необходимо для настройки аналогового устройства (окулометра).

Следует отметить, что адаптация вышеуказанного окулометрического прибора 10 (фиг.2) к кабине для обеспечения максимальной точности в совокупности с комбинацией данных о положении головы пилота и данных о положении его взгляда учитывает геометрическое исследование кабины и исследование положение тела пилота 12.

Производя геометрическое исследование кабины, заявитель обнаружил, что для установки генератора 28 магнитного поля на кронштейне в кабине необходимо убедиться, что расстояние между генератором 28 и всей металлической поверхностью является достаточно большим, чтобы свести к минимуму магнитные помехи, которые могут влиять на окулометрический прибор.

Кроме того, во время конфигурации различных компонентов, образующих окулометрический прибор 10 внутри кабины, заявитель установил, что расстояние между генератором 28 магнитного поля и приемным устройством 30 положения головы пилота должно быть строго меньше расстояния между приемным устройством 30 положения головы пилота и всей металлической поверхностью для сведения к минимуму магнитных помех.

Следует отметить, что исследование положения тела пилота 12 позволяет определить границы объема его движения и, следовательно, расстояние между приемным устройством на голове и источником магнитного поля.

При помощи окулометрического прибора 10 можно очень точно регистрировать движения глаз (зрительное поведение пилота), такие как фиксирование, сканирование и отслеживание, которые характеризуют то, каким образом пилот смотрит на специфические элементы визуальной сцены авиационной обстановки (бортовые инструменты и визуальная внешняя среда), разворачивающейся на бортовом инструменте 14.

Составные компоненты окулометрического прибора 10, а именно аналоговое устройство 16, генератор 28 магнитного поля и шлем 32 с приемным устройством 30 для установки на голове, поставляются компанией Senso-Motric Instruments GmbH, Вартенштрассе 21, Д-14513 Тельтов, Германия.

Для более полной информации можно обратиться на сайт www.smi.de.

Бортовой прибор 14 (фиг.2 и 3) выполнен в виде экрана для визуального отображения (фиг.4).

Экран 40 (фиг.4) показывает синтезированное пространственное изображение для отслеживания положения летательного аппарата, а также окружающей среды, в которой движется этот летательный аппарат.

Синтезированное изображение получают относительно точки зрения, внешней по отношению к летательному аппарату, и выведение синтезированного изображения на экран 40, находящийся в кабине летательного аппарата, позволяет расширить знание пилотом действительной ситуации, в которой находится летательный аппарат.

Экран визуального отображения может быть специальным экраном или экраном, который уже существует на летательном аппарате, например, таким как навигационный экран бортового инструмента ND (“Navigation Display”).

В этом синтезированном изображении используют несколько изобразительных элементов или символов: символ 42, изображающий летательный аппарат (символ самолета) и указывающий его местонахождение, изображение 44, показывающее местность, над которой летит летательный аппарат, контрольная вертикальная линия 46 между символом 42 летательного аппарата и его вертикальной проекцией на местность 44 и трасса 46 будущей траектории движения летательного аппарата.

Символ 42 является фиксированным на трехмерном изображении и служит для пилота постоянным и изначальным ориентиром, когда он направляет свой взгляд на экран 40 визуального отображения.

Изображение местности 44 является подвижным и развертывает рельеф вокруг макета летательного аппарата.

Символ 42 характеризует реальное положение летательного аппарата по крену, тангажу и поворотам вокруг вертикальной оси. Эти данные качественно переносятся на символ, который поворачивается вокруг трех осей.

Синтезированное трехмерное изображение содержит также символ 50, показанный на пересечении вертикальной линии 46 и местности 44 и представляющий собой отображение вертикальной проекции летательного аппарата на местность (проекция на землю символа самолета).

Кроме того, необходимо отметить, что вертикальная линия 46 содержит шкалу 52 (шкала-лесенка), состоящая из горизонтальных меток 52А, размещенных на этой вертикальной линии, показывая заранее определенные расстояния под летательным аппаратом.

В качестве информации на экране 40 показана также трасса 54, отображающая вертикальную проекцию на местность 44 будущей траектории 48 летательного аппарата (траектория, проецируемая на землю), множество вертикальных линий 56 (вертикальные линии поддержки траектории) между точками 58 на трассе 48, отображающей будущую траекторию летательного аппарата, и соответствующими вертикальными проекциями 60 этих точек на местности.

Например, точки 58 соответствуют предполагаемому положению летательного аппарата через разные интервалы времени или расстояния.

Следует отметить, что синтезированное изображение содержит также шкалу 62 курса, показанную над линией 64 горизонта.

Кроме того, синтезированное изображение содержит дополнительную информацию, которая, например, выводится на строке 66, предусмотренной на экране дисплея над трехмерным изображением. Эта дополнительная информация может, в частности, представлять собой перенос данных, обычно выводящихся на навигационный экран ND, таких как ветер (направление и сила), скорость летательного аппарата, ближайшая точка маршрута и т.д.

Для получения большей информации о синтезированном изображении на фиг.4, можно обратиться к европейской патентной заявке ЕР 1460384.

Далее будут описаны этапы Е2 и Е3 алгоритма (фиг.1), относящиеся соответственно к количественной обработке и качественной обработке данных, полученных окулометрическим прибором (фиг.2 и 3) для пилота, наблюдающего сценарий, развертывающийся на бортовом приборе (фиг.4).

Согласно рассматриваемому сценарию пилот находится в контексте сценария, связанного с ходом процедуры выполнения полета, соответствующей фазе снижения в гористом районе.

Пилот наблюдает сценарий, развертывающийся перед его глазами на синтезированном изображении типа изображения, показанного на фиг.4, и окулометрический прибор регистрирует движение глаз пилота на синтезированном изображении в течение данного интервала времени, соответствующего времени развертывания сценария.

Этот интервал времени имеет продолжительность, например, равную 15 минутам.

Вводя в программу количественной обработки данных (этап Е2 фиг.1) предусматриваемый сценарий, а также различные визуальные элементы или события, появляющиеся на синтезированном изображении рассматриваемого бортового прибора, можно произвести статистический анализ окулометрических данных, полученных окулометрическим прибором 10, результаты этого статистического анализа показаны на фиг.5 в виде гистограммы, показывающей число появлений или проявлений каждого из 17 указанных событий.

Каждое из этих событий соответствует визуальному элементу визуальной сцены, которая развертывалась перед глазами пилота, на котором останавливался его взгляд.

Эта обработка выявляет наиболее значимые статистические элементы и наименее значимые статистические элементы и, в частности, показывает, что элемент, на который пилот смотрел чаще всего, то есть элемент, оцениваемый пилотом как наиболее существенный в ходе развертывания визуальной сцены, является концом траектории, так как он появлялся 34 раза в течение интервала времени наблюдения.

Визуальный элемент, соответствующий вершинам в глубине справа, является событием, находящимся на второй позиции по степени значимости для пилота, так как он появляется 21 раз в течение периода наблюдения.

Значение, придаваемое пилотом этим двум первым элементам, объясняется тем, что в рассматриваемом сценарии самолет предположительно должен приземлиться в гористой области, находящейся на синтезированном изображении в глубине справа по отношению к показанной траектории самолета.

В зависимости от результатов этой статистической обработки устанавливают также, что визуальные элементы или события под номерами 16 и 17, находятся на последней позиции с одинаковым числом появлений и относятся соответственно к проекции на землю символа самолета и к вершинам в середине слева.

После осуществления статистического анализа визуальных элементов визуальной сцены, на которую пилот смотрел, переходят к этапу Е2 (фиг.1) качественной обработки данных, предварительно обработанных статистически.

Для этого выявляют структурированные последовательности визуальных элементов визуальной сцены, которые повторяются одинаково, по меньшей мере, один раз в течение интервала времени наблюдения (визуальные рисунки). Поскольку имеется статистическая информация и, в частности, информация о значении, придаваемом событиям пилотом, можно произвести поиск этих последовательностей или рядов, отталкиваясь от степени выявленного значения для некоторых визуальных элементов.

Можно также осуществить поиск одного или нескольких визуальных рисунков с привлечением визуальных элементов, отвечающих другому критерию значимости рассматриваемого визуального элемента, например, существенности цветов в восприятии информации.

Во время качественной обработки данных, результаты которой показаны на фиг.6 и 7, не учитывалось зрительное поведение пилота, и поэтому выявленные визуальные рисунки считаются простыми рисунками.

На фиг.6 показаны различные визуальные элементы или события, которые должны находиться в искомом визуальном рисунке или рисунках.

Речь идет о следующих элементах: вертикальные линии поддержки траектории; конец траектории; вершины в глубине слева; траектория, проецируемая на землю; символ самолета.

Объединенные в пары элементы соответствуют субрисункам, выявленным вышеупомянутой программой качественной обработки.

Следует отметить, что сначала при помощи программы качественной обработки велся поиск визуальных элементов, содержащих конец траектории. После этого обработка позволила обнаружить во время периода наблюдения последовательное появление события, связанного с вертикальными линиями поддержки траектории, и события, связанного с концом траектории в данном интервале времени, достаточно малом по отношению к появлению события, связанного с вертикальными линиями поддержки траектории.

В правой части фиг.6 на параллельных линиях 100, 102, 104, 106, 108, расположенных друг над другом, точками показано появление рассматриваемых событий напротив каждой линии по отношению к шкале 110 времени, выраженной точками в десятых долях секунды.

Таким образом, качественная обработка данных выявляет один и тот же визуальный рисунок, который одинаково повторяется три раза, идентифицированный позициями 112, 114, 116, и в котором за первым событием, связанным с вертикальными линиями поддержки траектории, сразу следует второе событие, связанное с концом траектории.

Точно так же качественная обработка данных происходит в отношении двух событий под номерами 04 и 05, связанных соответственно с проекцией траектории на землю и с символом самолета, и позволяет идентифицировать в течение рассматриваемого периода наблюдения один и тот же визуальный рисунок, который повторяется три раза, идентифицированный позициями 118, 120, 122, в котором последовательно появляются траектория, проецируемая на землю, и символ самолета.

С добавлением последнего события, связанного с вершинами (03) в глубине слева, которое должно проявиться в качестве третьего элемента, после последовательности из вертикальных линий поддержки траектории и конца траектории (01 и 02), при наличии последовательных событий, связанных с проекцией траектории на землю и с символом самолета (04 и 05), качественная обработка данных позволяет определить визуальный рисунок, который одинаково повторяется два раза, идентифицированный позициями 124 и 126. Этот рисунок соответствует структурированной последовательности или ряду визуальных элементов, на которые пилот смотрел два раза во время данного периода наблюдения.

На фиг.7 показан экран 7 дисплея типа экрана, показанного на фиг.4, на котором показано синтезированное изображение самолета во время развертывания сценария, на который смотрел пилот.

На синтезированном изображении, показанном на экране 40 (фиг.7), можно увидеть визуальный рисунок 124 (фиг.6), который проявляется очень быстро во времени, о чем можно судить по шкале 110 времени на фиг.6.

Таким образом, первое явление или визуальный элемент, наблюдаемый пилотом в этом рисунке, является элементом № 01, отображающим вертикальные линии поддержки траектории, находящиеся в глубине экрана.

Второй наблюдаемый элемент является элементом конца траектории самолета (02), третий соответствует вершинам (03) в глубине слева, затем взгляд пилота перемещается на проекцию траектории на земле (элемент 04) и в конечном счете возвращается к символу самолета (элемент 05).

Определенный таким образом рисунок имеет длину 5, так как он включает пять визуальных элементов сцены, тогда как уровень этого визуального рисунка, а именно число иерархических уровней, составляет 3.

Иерархический уровень визуального рисунка соответствует количеству частичных наложений субрисунков, присутствующих в этом рисунке, которые можно представить следующим образом:

Уровень 1: (a,b)

Уровень 2: (а(b,c))

Уровень 3: (a(b(c,d))),

где (x, y) соответствует рисунку уровня 1.

Следует отметить, что визуальные элементы 1 и 2 образуют визуальный субрисунок уровня 1, так же как и элементы 4 и 5, и что визуальный субрисунок, образованный двумя элементами 4 и 5, в комбинации с визуальным элементом 3 образует визуальный рисунок уровня 2.

Определение такого визуального рисунка позволяет, например, идентифицировать важные аспекты, которые должны приниматься во внимание во время обучения будущих пилотов.

Следует отметить, что в вышеуказанном примере выполнения отслеживали взгляд пилота на одном и том же экране визуального отображения, однако можно также аналогично поступать, предоставляя пилоту сценарий, по которому ему необходимо смотреть на два или более двух дисплеев/бортовых приборов.

Таким образом, установив, что взгляд пилота непрерывно возвращается от одного дисплея к другому, можно предусмотреть концепцию нового дисплея, объединяющего визуальные элементы или события, наблюдаемые пилотом во время этих последовательных визуальных повторов.

Далее следует описание другого варианта выполнения, иллюстрирующего в сравнении полученные результаты без учета зрительного поведения пилота и с учетом его зрительного поведения, со ссылками на фиг.8-11.

В этом примере рассматривался следующий визуальный рисунок: вертикальные линии поддержки траектории; конец траектории; шкала-лесенка.

Визуальный рисунок, содержащий эти визуальные элементы, был выявлен программой качественной обработки во время поиска рисунков, содержащих элемент конца траектории и выбранных на основании результатов предварительной статистической обработки.

Аналогично тому, что было описано со ссылками на фиг.6, напротив каждого из визуальных рисунков или событий была показана временная линия, и в зависимости от шкалы 110 времени было показано появление каждого из этих событий на соответствующей линии 130, 132, 134.

Качественную обработку данных сначала применили к данным, касающимся двух событий, связанных с вертикальными линиями поддержки траектории и с концом траектории, чтобы выявить визуальные рисунки, содержащие эти два последовательных элемента.

Таким образом, качественная обработка позволила определить три появления 136, 138 и 140 одного и того же визуального рисунка, показанные на фиг.8.

После этого в ходе качественной обработки добавили событие, связанное со шкалой-лесенкой, что позволило идентифицировать два появления 142 и 144 одного и того же визуального рисунка, при этом каждое появление представляет собой временную последовательность следующих событий или визуальных элементов: вертикальные линии поддержки траектории; конец траектории и шкала-лесенка.

После этого на экран 40 визуального отображения (фиг.9) вывели визуальный рисунок 142, который связывает выбранные последовательные визуальные элементы, наблюдаемые пилотом в течение интервала времени наблюдения.

Визуальный рисунок 142 воспроизводится идентично и со смещением во времени в 144.

Установлено, что определенный визуальный рисунок имеет длину 3 и уровень 2 с визуальным субрисунком уровня 1 (визуальный рисунок 136), который появляется один раз отдельно (вне рисунка 142).

На этом первом этапе качественного анализа во время обработки не учитывались окулометрические данные, соответствующие зрительному поведению пилота, что позволило найти описанные выше простые визуальные рисунки.

На втором этапе добавляют данные, которые соответствуют зрительному поведению пилота (которое может соответствовать, например, сканированию взглядом, долгому фиксированию или короткому фиксированию), и выявляют визуальные рисунки, которые содержат визуальные элементы ранее выявленных визуальных рисунков.

На фиг.10 воспроизведены результаты качественной обработки, примененной для данных, которые являются событиями, связанными с элементами ранее выявленного рисунка. Эти элементы являются вертикальными линиями поддержки траектории, концом траектории и шкалой-лесенкой.

Обнаруживая визуальные рисунки, содержащие вышеуказанные визуальные элементы, и учитывая зрительное поведение пилота, получают большее количество информации, о чем свидетельствует левая часть фиг.10, на которой идентифицированы следующие визуальные элементы или события в связи с соответствующим зрительным поведением:

- увеличение - долгое фиксирование,

- вертикальные линии поддержки траектории - сканирование,

- траектория - сканирование,

- траектория - короткое фиксирование,

- шкала-лесенка - сканирование.

Поскольку база данных пополнилась данными, характеризующими зрительное поведение пилота, качественная обработка позволяет определить более сложные рисунки, вводя в рисунок пары элемент-поведение, такие, например, как пара траектория-сканирование.

Аналогично тому, что было описано со ссылками на предыдущие чертежи, программа качественной обработки данных выявила визуальные рисунки, содержащие два первых визуальных элемента, а именно «увеличение - долгое фиксирование» и «вертикальные линии поддержки траектории - сканирование», для идентификации одного и того же визуального рисунка 150, 152 и 154 и в конечном счете для определения двух появлений 156 и 158, соответствующих одному и тому же визуальному рисунку, повторяющемуся одинаково в течение времени.

Определенный таким образом сложный рисунок структурно связывает шесть визуальных элементов или событий, показанных на фиг.10.

Чтобы не загромождать схему, визуальный рисунок 156 показан на фиг.11 только в виде цифр, каждая из которых соответствует визуальному элементу.

Кружки символизируют фиксирование, тогда как квадраты обозначают сканирование.

Определенный таким образом визуальный рисунок имеет длину 6, уровень 3 и полностью воспроизводится во времени два раза (рисунки 156 и 158 на фиг.10).

Что же касается визуального субрисунка 152, идентифицированного внутри сложного визуального рисунка, то он воспроизводится три раза (150, 152, 154).

Таким образом, добавляя визуальные данные, связанные с зрительным поведением пилота, получают визуальные рисунки с более обширной информацией. Зрительное поведение пилота позволяет также определить интерес (долгое фиксирование) или отсутствие интереса к тому или иному визуальному рисунку.

На основании визуальных рисунков, определенных в примерах выполнения, показанных на фиг.6-11, можно внести усовершенствования в интерфейсные элементы пилот-кабина, в процедуры использования этих интерфейсных элементов (например, в процедуру выполнения полета…) или их можно применять для обучения пилотов по использованию интерфейсных элементов кабины.

Например, определяя один или несколько визуальных рисунков, характеризующих использование прибора пилотом, изобретение позволяет определить, в какой момент дисплейную систему, установленную по высоте над головой пилота (“Head Up Display”), необходимо использовать, чтобы сделать ее применение оптимальным. Изобретение позволяет также определить, действительно ли такая дисплейная система используется пилотом на данном типе транспортного средства.

В другом примере изобретение позволяет установить, что пилот в уме строит визуальное трехмерное отображение положения его транспортного средства в пространстве, причем только на основе информации в двух измерениях, поступающей от бортовых приборов.

В этом случае настоящее изобретение может служить основой для разработки нового прибора, выдающего визуальное трехмерное отображение положения транспортного средства в пространстве.

Изобретение представляет особенный интерес для определения действительно полезной информации, которая поставляется интерфейсными элементами приборной доски.

Действительно, благодаря сбору и качественной обработке окулометрических данных, изобретение позволяет отделить информацию, необходимую для пользователя, от информации, которая не является в достаточной степени полезной или которая является избыточной.

Кроме того, изобретение применяется для других пар «пользователь - окружающая рабочая среда», таких как водитель автомобиля, машинист поезда или рулевой судна во взаимодействии с панелью приборов, или пользователь компьютерной программы во взаимодействии с компьютером (экран, клавиатура…), обеспечивающим ее исполнение, и даже пользователь, применяющий свой мобильный телефон…

Таким образом, определяя визуальные рисунки, отражающие использование пользователем интерфейсного(ых) элемента(ов) транспортного средства, компьютера, мобильного телефона и т.д., изобретение позволяет оценить взаимодействие пользователь - окружающая рабочая среда и соответственно усовершенствовать эргономику рабочего места пользователя.

Изобретение относится к области приборостроения и может найти применение в системах ориентации подвижных объектов. Технический результат - расширение функциональных возможностей. Для достижения данного результата способ обработки данных, характеризующих взаимодействие между пользователем и окружающей рабочей средой, содержит этапы, связанные со сбором данных, характеризующих положение во времени взгляда пользователя на визуальные элементы наблюдаемой сцены, являющейся частью окружающей рабочей среды. Эти процессы осуществляют во время взаимодействия между пользователем и, по меньшей мере, одним интерфейсным элементом окружающей рабочей среды. При этом сбор данных осуществляют на основе использования окулометрического прибора в режиме последовательного повторения, по крайней мере, одного визуального рисунка, содержащего последовательность визуальных элементов и повторяющегося несколько раз на измеряемом промежутке времени. 2 н. и 22 з.п. ф-лы, 11 ил.

1. Способ обработки данных, характеризующих взаимодействие между пользователем (12) и окружающей его рабочей средой (14), содержащий следующие этапы:
осуществляют сбор (Е1) данных, характеризующих положение во времени взгляда пользователя на визуальные элементы визуальной сцены, являющейся частью окружающей рабочей среды, во время взаимодействия между пользователем и, по меньшей мере, одним интерфейсным элементом окружающей рабочей среды, при этом сбор данных осуществляют посредством окулометрического прибора,
осуществляют обработку (ЕЗ) полученных данных,
отличающийся тем, что обработку данных осуществляют для формирования, по меньшей мере, одного визуального рисунка, содержащего последовательность визуальных элементов, появляющихся последовательно один за другим в течение времени, причем указанный, по меньшей мере, один визуальный рисунок повторяется несколько раз в течение времени.

2. Способ по п.1, отличающийся тем, что, по меньшей мере, один из визуальных элементов, по меньшей мере, одного полученного рисунка удовлетворяет, по меньшей мере, одному заданному критерию.

3. Способ по п.1 или 2, отличающийся тем, что осуществляют предварительный этап (Е2) статистической обработки полученных данных, и этап обработки данных, на котором определяют, по меньшей мере, один визуальный рисунок в зависимости от результата этапа статистической обработки.

4. Способ по п.3, отличающийся тем, что по результатам статистической обработки полученных данных определяют число появлений, по меньшей мере, некоторых из визуальных элементов, наблюдаемых пользователем, в течение времени.

5. Способ по п.4, отличающийся тем, что обработку данных для определения, по меньшей мере, одного визуального рисунка осуществляют на основании визуальных элементов, число появлений которых является наибольшим.

6. Способ по п.2, отличающийся тем, что осуществляют предварительный этап (Е2) статистической обработки полученных данных, и этап обработки данных, на котором определяют, по меньшей мере, один визуальный рисунок в зависимости от результата этапа статистической обработки.

7. Способ по п.6, отличающийся тем, что по результатам статистической обработки полученных данных определяют число появлений, по меньшей мере, некоторых из визуальных элементов, наблюдаемых пользователем, в течение времени.

8. Способ по п.7, отличающийся тем, что обработку данных для определения, по меньшей мере, одного визуального рисунка осуществляют на основании визуальных элементов, число появлений которых является наибольшим.

9. Способ по любому из пп.1-8, отличающийся тем, что на этапе сбора данных собирают данные о зрительном поведении пользователя в отношении, по меньшей мере, некоторых из визуальных элементов, наблюдаемых пользователем, в течение времени.

10. Способ по п.9, отличающийся тем, что сбор данных осуществляют в течение заданного интервала времени.

11. Способ по п.9, отличающийся тем, что сбор данных осуществляют в рамках сценария, связанного с ходом процедуры использования рабочей окружающей среды пользователя.

12. Способ по п.10, отличающийся тем, что сбор данных осуществляют в рамках сценария, связанного с ходом процедуры использования рабочей окружающей среды пользователя.

13. Способ по любому из пп.1-8, отличающийся тем, что сбор данных осуществляют в течение заданного интервала времени.

14. Способ по любому из пп.1-8, отличающийся тем, что сбор данных осуществляют в рамках сценария, связанного с ходом процедуры использования рабочей окружающей среды пользователя.

15. Способ по п.9, отличающийся тем, что пользователем является пилот транспортного средства, взаимодействующий с интерфейсными элементами приборной панели транспортного средства.

16. Способ по п.10, отличающийся тем, что пользователем является пилот транспортного средства, взаимодействующий с интерфейсными элементами приборной панели транспортного средства.

17. Способ по п.11, отличающийся тем, что пользователем является пилот транспортного средства, взаимодействующий с интерфейсными элементами приборной панели транспортного средства.

18. Способ по любому из пп.1-8, отличающийся тем, что пользователем является пилот транспортного средства, взаимодействующий с интерфейсными элементами приборной панели транспортного средства.

19. Способ по п.15, отличающийся тем, что в качестве транспортного средства используют самолет.

20. Способ по п.16, отличающийся тем, что в качестве транспортного средства используют самолет.

21. Способ по п.17, отличающийся тем, что в качестве транспортного средства используют самолет.

22. Способ по п.18, отличающийся тем, что в качестве транспортного средства используют самолет.

23. Способ по п.18, отличающийся тем, что в качестве транспортного средства используют автомобиль.

24. Система обработки данных, характеризующих взаимодействие между пользователем (12) и окружающей рабочей средой (14), содержащая прибор (10) сбора окулометрических данных, характеризующих положение во времени взгляда пользователя на визуальные элементы визуальной сцены, являющейся частью окружающей рабочей среды, во время взаимодействия между пользователем и, по меньшей мере, одним интерфейсным элементом окружающей рабочей среды, средство (17) обработки полученных данных, отличающаяся тем, что указанное средство для обработки полученных данных выполнено с возможностью определения, по меньшей мере, одного визуального рисунка, содержащего последовательность визуальных элементов, появляющихся последовательно один за другим в течение времени, причем указанный, по меньшей мере, один визуальный рисунок повторяется несколько раз в течение времени.