ВЗАИМОДЕЙСТВИЕ С ТРЕХМЕРНЫМ ВИРТУАЛЬНЫМ ДИНАМИЧЕСКИМ ОТОБРАЖЕНИЕМ Российский патент 2016 года по МПК G06F3/346 

Область техники, к которой относится изобретение

Изобретение относится к устройствам представления трехмерного виртуального динамического отображения. Прежде всего, изобретение относится к устройствам представления трехмерного виртуального динамического отображения для выбора объектов в виртуальном динамическом отображении с подачей ответного сигнала при произошедшем выборе одного из объектов, к устройству рабочего места для наблюдения за трехмерным виртуальным динамическим отображением и для взаимодействия с трехмерным виртуальным динамическим отображением, а также к применению устройства рабочего места для наблюдения за трехмерным виртуальным динамическим отображением для наблюдения за воздушными пространствами.

Уровень техники

Современные системы контроля воздушного пространства представляют наблюдаемую область воздушного пространства на обычных дисплеях в

двухмерном виде. При этом отображение происходит в форме похожей на карту горизонтальной проекции. Информация относительно третьего измерения, например информация о высоте полета самолета или другого летательного аппарата, представляются в виде текстового или численного сообщения.

Раскрытие изобретения

В качестве цели изобретения может быть указано устройство представления для демонстрации трехмерного виртуального динамического отображения, которое делает возможным для наблюдателя или, соответственно, оператора устройства представления простое, не вызывающее утомления, взаимодействие с виртуальным динамическим отображением.

Предложены устройство представления, устройство рабочего места и применение устройства рабочего места, охарактеризованные в соответствующих независимых пунктах формулы изобретения. Варианты осуществления изобретения получены на основании дополнительных пунктов формулы изобретения и из последующего описания.

Согласно первому аспекту изобретения предложено устройство представления трехмерного виртуального динамического отображения для выбора объектов в виртуальном динамическом отображении с подачей ответного сигнала при произошедшем выборе одного из объектов, которое содержит модуль представления виртуального динамического отображения и сенсорный модуль для управляемого прикосновением выбора объекта в виртуальном динамическом отображении. При этом сенсорный модуль расположен на поверхности представления виртуального динамического отображения и выдает при произошедшем выборе объекта в трехмерном виртуальном динамическом отображении ответный сигнал об этом оператору устройства представления. Кроме того сенсорный модуль выполнен в виде плоского элемента, расположен в отображаемом объеме трехмерного виртуального динамического отображения и выполнен с возможностью выбора объекта в виртуальном динамическом отображении на основе места прикосновения к сенсорному модулю.

Технический результат, достигаемый при осуществлении изобретения, заключается в снижении утомляемости пользователя при использовании предлагаемого в изобретении устройства представления.

При этом модуль представления может быть основан на стереоскопических техниках визуализации, которые используются, прежде всего, для анализатрехмерных моделей и наборов данных. Стереоскопические техники визуализации делают возможными интуитивное понимание пространственных данных для наблюдателя трехмерного виртуального динамического отображения. Тем не менее, эти технологии не используются в настоящее время для длительной деятельности вследствие ограниченных и лишь с трудом формируемых возможностей взаимодействия и вследствие быстрого утомления пользователя.

При рассматривании трехмерных виртуальных динамических отображений может возникнуть конфликт между конвергенцией (положением оптических осей глаз относительно друг друга) и аккомодацией (установкой преломляющей силы хрусталиков глаз наблюдателя). При естественном зрении конвергенция и аккомодация взаимосвязаны, и эта связь нарушается при рассмотрении трехмерного виртуального динамического отображения. Это объясняется фокусировкой глаз на визуализирующем устройстве отображения, при котором оптические оси глаз ориентированы, однако, на виртуальные объекты, которые могут располагаться в соответствующем виртуальному трехмерному динамическому отображению пространстве перед визуализирующим устройством отображения или за ним. Нарушение связи между конвергенцией и аккомодацией может привести к нагрузке и тем самым к утомлению человеческого зрительного аппарата вплоть до головных болей и тошноты у наблюдателя трехмерного виртуального изображения. Прежде всего, конфликт между конвергенцией и аккомодацией происходит также вследствие того, что оператор в ходе непосредственного взаимодействия с виртуальным динамическим отображением, например, манипулирует своей рукой объектами виртуального динамического отображения таким образом, что реальное положение руки накладывается на виртуальные объекты. В этом случае конфликт между аккомодацией и конвергенцией может быть усилен.

Непосредственное взаимодействие пользователя с обычным трехмерным виртуальным динамическим отображением может потребовать, например, ношения специальных перчаток. Такие перчатки делают возможным, с одной стороны, обнаружение положения рук пользователя, а с другой стороны, производят, например, при соприкосновении с виртуальными объектами соответствующую вибрацию. Положение руки обнаруживается в этом случае, как правило, с помощью оптической регистрационной системы. Для взаимодействия с виртуальным динамическим отображением пользователь перемещает, как правило, руки в пространство перед пользователем. При этом вес самих рук и дополнительный вес перчаток могут ограничивать время использования, поскольку могут вызвать у пользователя преждевременные проявления усталости.

Прежде всего, в области контроля воздушного пространства и, соответственно, воздушного сообщения возникают ситуации, в которых необходимы два вида информации для получения хорошего понимания актуального положения воздушного пространства и его развития в будущем. С одной стороны, это глобальный взгляд на общую ситуацию и, с другой стороны, также и подробный взгляд на релевантные для потенциальной конфликтной ситуации элементы. Авиадиспетчер, например, должен разрешить конфликтную ситуацию между двумя летательными аппаратами, и должен при этом как подробно проанализировать обе траектории полета, так и принять во внимание при вынесении своего решения прочие общие условия в окрестности, чтобы избежать создания нового конфликта в результате разрешения актуального конфликта.

Перспективные устройства отображения для представления действующего в пространстве динамического отображения делают возможным графическое представление трехмерного динамического отображения, например, воздушного пространства, однако они непригодны вследствие многозначности представления для критичных с точки зрения безопасности приложений.

Согласно аспекту изобретения предложено представление трехмерных динамических отображений, которое одновременно делает возможным как обзорное представление, так и детальное представление, предоставляет возможность простого и непосредственного взаимодействия пользователя с трехмерным виртуальным динамическим отображением, а также делает возможным неутомительное и щадящее использование зрительного аппарата пользователя.

Устройство отображения выполнено для создания впечатления трехмерного динамического отображения у наблюдателя. При этом устройство отображения может располагать по меньшей мере двумя проекционными устройствами, которые проецируют различные изображения для каждого отдельного глаза наблюдателя таким образом, что у наблюдателя возникает впечатление трехмерности. Устройство отображения может быть выполнено также для представления различно поляризованных изображений, при этом очки наблюдателя с соответствующим образом поляризованными стеклами позволяют в каждом случае одному глазу воспринимать одно соответствующее изображение и создавать, таким образом, у наблюдателя впечатление трехмерности. Необходимо отметить, что в связи с изобретением может использоваться любая технология представления трехмерного динамического отображения в качестве основы устройства отображения.

Сенсорный модуль представляет собой элемент ввода для управляемого прикосновением выбора объекта в трехмерном виртуальном динамическом отображении. При этом сенсорный модуль может быть, например, прозрачен и быть расположен в трехмерном отображаемом объеме виртуального динамического отображения таким образом, что объект виртуального динамического отображения выбирается посредством его захвата пользователем рукой или обеими руками в трехмерном отображаемом объеме, и касания сенсорного модуля. Сенсорный модуль может быть расположен в произвольном месте трехмерного отображаемого объема или вне трехмерного отображаемого объема. Сенсорный модуль может быть выполнен плоским или в виде поверхности произвольной геометрии. Прежде всего, сенсорный модуль может быть выполнен в виде гибкого пластичного элемента для обеспечения приспособляемости сенсорного модуля к трехмерному виртуальному динамическому отображению.

Сенсорный модуль может содержать, например, емкостные или резистивные измерительные системы или инфракрасные матрицы для обнаружения координат одной или нескольких точек соприкосновения, в которой или, соответственно, в которых пользователь касается сенсорного модуля. В зависимости от координат точки соприкосновения выбирается, например, тот объект в трехмерном виртуальном динамическом отображении, который пребывает ближе всего к точке соприкосновения.

Согласно варианту осуществления изобретения сенсорный модуль выполнен для представления области выбора объекта. При этом происходит выбор объекта путем касания области выбора.

Устройство расчета может рассчитывать, например, положение областей выбора в трехмерном виртуальном динамическом отображении таким образом, что области выбора становятся представленными на сенсорном модуле. Тем самым область выбора активируется в результате касания пользователем сенсорного модуля в соответствующем положении в виртуальном динамическом отображении.

Очевидно, сенсорный модуль может быть выполнен для представления нескольких областей выбора для нескольких объектов, причем в каждом случае одна область выбора выделена объекту в виртуальном динамическом отображении.

Прежде всего, непосредственное взаимодействие пользователя с виртуальным динамическим отображением без использования вспомогательных средств, как например, перчаток, делает возможным простое обслуживание и предотвращает утомление пользователя.

Согласно другому варианту осуществления изобретения ответный сигнал при произошедшем выборе одного из объектов из виртуального динамического отображения происходит, по меньшей мере частично, посредством вибрации сенсорного модуля или направленных на манипулирующую руку сфокусированных ультразвуковых волн.

Вследствие того, что область выбора для объекта виртуального динамического отображения в виртуальном динамическом отображении располагается на сенсорном модуле, пользователь получает сигнал о выборе уже только посредством того, что он касается своим пальцем реально наличествующего объекта, то есть сенсорного модуля. Дальнейший ответный сигнал о произошедшем выборе объекта в виртуальном динамическом отображении дополнительно может подаваться посредством вибрации сенсорного модуля при успешном выборе объекта.

Сенсорный модуль может приводиться к вибрации, например, целиком, при помощи, например, двигателя, прежде всего вибромотора, или только отдельные области сенсорного модуля могут приводиться к вибрации.

Наряду с этим, в качестве колебательных элементов также могут использоваться, например, исполнительные пьезоэлементы, причем исполнительные пьезоэлементы приводятся в действие в каждом случае при произошедшем выборе объекта в виртуальном динамическом отображении в точке соприкосновения и сигнализируют тем самым пользователю об осуществленном выборе объекта.

Согласно другому варианту осуществления изобретения сенсорный модуль содержит несколько областей, которые являются выборочно отбираемыми для подачи тактильного ответного сигнала о выборе объекта в виртуальном динамическом отображении.

Сенсорный модуль может быть выполнен для предоставления возможности одновременного выбора нескольких объектов. Например, один объект может быть выбран первой рукой и другой объект - второй рукой пользователя.

Для обеспечения подачи пользователю идентифицируемого ответного сигнала, сенсорный модуль может быть настроен на выдачу тактильного ответного сигнала, то есть, например, для производства вибрации, в окрестности области выбора объекта. Это позволяет пользователю, прежде всего, при выборе нескольких объектов, распознавать, какие из объектов уже были выбраны, а какие еще нет.

Наряду с этим, сенсорный модуль может быть выполнен для обеспечения возможности изменения масштаба карты и сдвига представленной области карты.

Под тактильным ответным сигналом понимают, например, вибрацию или колебания пьезоэлектрического исполнительного элемента.

Согласно другому варианту осуществления изобретения ответный сигнал об осуществленном выборе объекта в трехмерном динамическом отображении, по меньшей мере частично, происходит посредством подачи оптического сигнала.

При этом оптический сигнал может подаваться при выборе объекта альтернативно или дополнительно к тактильному ответному сигналу.

При этом под ответным сигналом посредством оптического сигнала понимают выделение или представление стрелки выбора. Например, освещенность выбранного объекта может быть изменена или выбранный объект может снабжаться рамкой или, соответственно, обрамлением, или рядом с выбранным объектом в виртуальном динамическом отображении будет представлен указывающий на этот объект указательный элемент.

Согласно другому варианту осуществления изобретения ответный сигнал об осуществленном выборе объекта в трехмерном динамическом отображении, по меньшей мере частично, реализуется посредством подачи акустического сигнала.

При этом акустический сигнал может подаваться альтернативно к тактильному ответному сигналу и/или оптическому сигналу, или также и дополнительно к тактильному ответному сигналу и/или оптическому сигналу.

При этом под акустическим сигналом понимают, например, издание короткого звука с помощью устройства вывода, например динамика.

Согласно другому варианту осуществления изобретения устройство отображения содержит обзорную область и детальную область, причем детальная область представляет выбираемую часть виртуального изображения обзорной области.

Такое построение позволяет пользователю одновременно рассматривать общее динамическое отображение в обзорной области и более точно рассматривать выбираемую пользователем меньшую область в детальной области.

Обзорная область может быть представлена, например, в виде двухмерного отображения, а детальная область в виде пространственного отображения. Представленная в детальной области часть виртуального динамического отображения может быть сдвинута, повернута или изменена по величине.

Тем самым авиадиспетчеру предоставлена возможность, например, осуществлять наблюдение за воздушным пространством простым и обозримым образом, иметь как взгляд на все положение воздушного пространства в области обзора, так и взгляд на потенциальные конфликтные ситуации в детальной области. Изобретение позволяет оператору изменять детальную область в зависимости от соответствующих потребностей, то есть любая часть обзорной области может быть выбрана для детального представления. Этот выбор может происходить, очевидно, также таким образом, что выбранная область детального представления указана в обзорном представлении.

Благодаря дополнительно внесенной в пространственное представлении информации по глубине, авиадиспетчер получает интуитивным образом больше информации, чем при двухмерном представлении с дополнительными текстовыми и численным указаниями таких данных, как например, высота полета.

Описанное выше представление обзорной области и детальной области делает возможным синхронное наблюдение за общим динамическим отображением и обработку детального представления одним взглядом. Тем самым улучшается осознание ситуации оператором виртуального динамического отображения, и тем самым повышается производительность оператора.

Согласно другому аспекту изобретения предложено устройство рабочего места для наблюдения за трехмерным виртуальным динамическим отображением, выполненное с устройством представления трехмерного виртуального динамического отображения для выбора объектов в виртуальном динамическом отображении с подачей ответного сигнала при произошедшем выборе одного из объектов, как описано выше и ниже.

Устройство рабочего места может применяться, например, также для управления беспилотными летательными аппаратами или же для наблюдения за произвольными динамическими отображениями одним или несколькими пользователями.

Устройство рабочего места, как описано выше и ниже, может, очевидно, располагать несколькими устройствами представления и содержать, наряду с этим, один или несколько обычных дисплеев для представления дополнительной двухмерной информации. Эти дисплеи могут быть соединены с устройством представления, например, таким образом, что обеспечена возможность взаимного влияния представленной информации.

Например, расписание полетов может быть представлено на дисплее, причем при выборе записи в расписании полетов соответствующий самолет отображается в обзорной области и/или в детальной области. Дисплеи могут быть расположены, прежде всего, также таким образом, что области представления всех дисплеев переходят друг в друга, либо несколько областей представления отображены на одном физическом дисплее.

Устройство рабочего места может также содержать элементы ввода, которые могут использоваться альтернативно или дополнительно к непосредственному взаимодействию с трехмерным виртуальным динамическим отображением.

Устройство рабочего места, кроме того, может содержать так называемую компьютерную мышь, клавиатуру или типичные для применения устройства взаимодействия, например, такие, как на рабочем месте авиадиспетчеров.

В равной мере, под дисплеями имеются в виду либо обычные дисплеи, либо чувствительные к прикосновению дисплеи или, соответственно, устройства отображения (так называемые сенсорные экраны).

Согласно другому аспекту изобретения предложено устройство рабочего места, как описано выше и ниже, для наблюдения за воздушными пространствами.

Устройство рабочего места может применяться также для наблюдения за беспилотными летательными аппаратами и управлению ими, а также для анализа записанного трехмерного динамического отображения, например, с учебными целями.

В равной мере, устройство рабочего места может быть использовано также для управления такими компонентами, как например, фотокамеры или прочие воспринимающие элементы, которые являются составной частью беспилотного летательного аппарата.

Устройство рабочего места может быть выполнено для представления в трехмерном динамическом отображении, например, запретной зоны или опасной зоны. Это делает возможным с помощью трехмерного представления воздушного пространства просто и быстро распознавать, угрожает ли летательный аппарат, например, пролетом через запретную зону или опасную зону. При этом запретная зона или опасная зона могут быть представлены, например, в виде виртуального тела с размерами запретной зоны, или соответственно, опасной зоны.

Согласно другому аспекту изобретения предложен способ выбора объектов в трехмерном динамическом отображении.

При этом на первом этапе происходит касание поверхности выбора виртуального объекта на поверхности представления трехмерного виртуального динамического отображения. На следующем этапе оператору выдается ответный сигнал после произошедшего выбора виртуального объекта.

Согласно варианту осуществления изобретения способ далее содержит этапы: визуализации элемента выбора в трехмерном виртуальном динамическом отображении, перемещения элемента выбора соответственно перемещению пальца оператора на поверхности представления, выбора объекта в трехмерном динамическом отображении за счет приведения элемента выбора в перекрытие с подлежащим выбору объектом. При этом визуализация элемента выбора, перемещение элемента выбора и выбор объекта происходят после касания поверхности выбора.

Элемент выбора может быть представлен, например, в виртуальном динамическом отображении, когда оператор касается сенсорного модуля. При этом элемент выбора может быть представлен, например, в виртуальном динамическом отображении в виде вертикально распространяющегося конического луча света или светового цилиндра, и перемещаться в трехмерном виртуальном динамическом отображении соответственно перемещению пальца оператора на сенсорном модуле. При наталкивании элемента выбора на объект в трехмерном виртуальном динамическом отображении, этот объект выбирается для последующих операций в том случае, если пользователь оставляет элемент выбора заданное время по существу неподвижным на объекте трехмерного виртуального динамического отображения. Например, выбор объекта может происходить в виртуальном динамическом отображении после того, как элемент выбора неподвижно перекрывает объект в течение одной секунды. На протяжении этого временем ожидания следует остерегаться выбора других объектов в виртуальном динамическом отображении в результате даже прохождения мимо них элемента выбора.

Представление элемента выбора в виртуальном динамическом отображении упрощает выбор объекта и позволяет оператору выбирать объект без того, чтобы обращать внимание на положение его руки в виртуальном динамическом отображении.

Тем самым, выбор объекта происходит вследствие перемещения рукой элемента выбора для приведения его к перекрытию с выбираемым объектом, что реализовано посредством прохождения элемента выбора, например, в форме вертикального светового цилиндра через виртуальное динамическое отображение.

Приведение элемента выбора к перекрытию с объектом в виртуальном динамическом отображении означает, что виртуальная пространственная протяженность элемента выбора пересекается по меньшей мере в одной точке с координатами выбираемого виртуального объекта.

Согласно другому аспекту изобретения предложен элемент компьютерной программы для управления устройством представления трехмерного виртуального динамического отображения с целью выбора объектов в виртуальном динамическом отображении с подачей ответного сигнала при произошедшем выборе одного из объектов, который выполнен для осуществления способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении, как описано выше и ниже, при выполнении элемента компьютерной программы процессором вычислительного модуля.

Элемент компьютерной программы может служить для управления процессором вычислительного модуля для осуществления способа выбора виртуальных объектов в трехмерном виртуальном динамическом отображении.

Согласно другому аспекту изобретения предложено выполненное с возможностью считывания компьютером средство с элементом компьютерной программы, как описан выше и ниже.

При этом выполненное с возможностью считывания компьютером средство может быть представлено произвольным энергозависимым или энергонезависимым носителем данных, например, жестким диском, компакт-диском, DVD, дискетой, картой памяти или любым другим выполненным с возможностью считывания компьютером средством или соответственно носителем данных.

В дальнейшем варианты осуществления изобретения описаны со ссылками на чертежи.

Краткое описание чертежей

Фиг. 1 показывает вид сбоку устройства рабочего места согласно варианту осуществления изобретения.

Фиг. 2 показывает перспективное представление устройства рабочего места согласно другому варианту осуществления изобретения.

Фиг. 3 показывает схематическое изображение устройства представления согласно варианту осуществления изобретения.

Фиг. 4 показывает схематическое изображение устройства представления согласно другому варианту осуществления изобретения.

Фиг. 5 показывает вид сбоку устройства рабочего места согласно варианту осуществления изобретения.

Фиг. 6 показывает схематическое изображение устройства представления согласно варианту осуществления изобретения.

Фиг. 7 показывает схематическое изображение способа выбора объектов в трехмерном динамическом отображении согласно варианту осуществления изобретения.

Подробное описание вариантов осуществления

Фиг. 1 показывает устройство 200 рабочего места для оператора трехмерного виртуального динамического отображения.

Устройство 200 рабочего места содержит устройство 100 представления с модулем 110 представления и сенсорным модулем 120. Сенсорный модуль 120 может перекрывать, прежде всего, часть модуля 110 представления. Однако сенсорный модуль может перекрывать также и весь модуль 110 представления. Очевидно, сенсорный модуль выполнен в таком случае прозрачным, что позволяет оператору устройства рабочего места или, соответственно, наблюдателю устройства представления обозревать модуль представления. Другими словами, модуль 110 представления и сенсорный модуль 120 совместно образуют чувствительный к прикосновению дисплей.

Необходимо отметить, что представленные выше и ниже варианты построения и расположения модуля 110 представления или, соответственно, сенсорного модуля 120 соотносятся в каждом случае по смыслу либо с сенсорным модулем 120, либо, соответственно, с модулем 110 представления. Сенсорный модуль может быть выполнен таким образом, что он полностью покрывает модуль представления, то есть весь модуль представления снабжен чувствительным к прикосновению сенсорным модулем, однако, он может быть выполнен также и таким образом, что лишь часть модуля представления снабжена чувствительным к прикосновению сенсорным модулем.

Модуль 110 представления содержит первую область 111 представления и вторую 112 область представления, причем вторая область представления выполнена с отгибом относительно первой области представления в направлении пользователя таким образом, что обе области представления образуют внутренний угол а 115.

Первая область представления 111 и вторая область представления 112 модуля 110 представления образуют совместно с положением наблюдателя 195, то есть положением глаз наблюдателя, расширенный отображаемый объем 130 для трехмерного виртуального динамического отображения благодаря своему отогнутому расположению по отношению друг к другу.

Под отображаемым объемом 130 понимают пространственный объем, в котором представляется видимое трехмерное виртуальное изображение. Оператор, который использует место 190 для сидения во время пользования устройством 200 рабочего места, может использовать, наряду с отображаемым объемом 130 для трехмерного виртуального динамического отображения, также область 140 рабочего места, на которой могут находиться дополнительные чувствительные к прикосновению или обычные дисплеи.

Внутренний угол а 115 может быть задан таким образом, что все виртуальные объекты располагаются в отображаемом объеме 130 в пределах дальности действия руки пользователя устройства 200 рабочего места. Прежде всего, при внутреннем угле а, который лежит между 90 градусами и 150 градусами, получается хорошее приспособление устройства для дальности действия руки пользователя. Внутренний угол а может быть приспособлен, например, также к индивидуальным потребностям отдельного пользователя и, как не использовать, так и превосходить при этом область от 90 градусов до 150 градусов. В варианте осуществления внутренний угол а составляет 120 градусов.

Максимально возможное покрытие дальностью действия руки и, соответственно, зоной досягаемости оператора отображаемого объема 130 позволяет поддерживать интуитивный, неутомительный и эргономичный режим обслуживания устройства 200 рабочего места.

Прежде всего, отогнутая геометрия устройства 110 представления позволяет уменьшить конфликт между конвергенцией и аккомодацией при использовании стереоскопических техник визуализации.

Отогнутая геометрия устройства представления позволяет минимизировать конфликт между конвергенцией и аккомодацией у наблюдателя виртуального трехмерного изображения за счет того, что виртуальные объекты на основе отогнутой геометрии позиционируются возможно более близко к отображающей области представления.

Поскольку положение виртуальных объектов и, в целом, геометрия виртуального динамического отображения задается для каждого специального приложения, геометрия устройства представления, например внутренний угол а может быть приспособлен к соответствующему приложению.

При контроле воздушного пространства трехмерное виртуальное динамическое отображение может представляться, например, таким образом, что вторая область представления 110 соответствует виртуально представленной поверхности земли или поверхности отсчета в пространстве.

Тем самым предлагаемое устройство рабочего места подходит, прежде всего, для более длительных и неутомительных рассмотрения и обработки трехмерных виртуальных динамических отображений с интегрированными пространственными представлениями географически привязанных данных, как например, летательных аппаратов, точек взлета, контрольных зон, угрожаемых зон, топографии территории и метеорологических явлений, при обеспечении простых интуитивных возможностей взаимодействия в рамках одновременного представления как обзорной области, так и детальной области.

Очевидно, модуль 110 представления может содержать также скругленный переход первой области 111 представления ко второй области 112 представления. Тем самым устранено или, соответственно, сокращено мешающее влияние реально видимой кромки между первой областью представления и второй областью представления на впечатление трехмерности виртуального динамического отображения.

Очевидно, модуль 110 представления может быть выполнен также в форме дуги.

Устройство рабочего места, как описано выше и ниже, делает тем самым возможным обеспечение большего стереоскопического объема представления и, соответственно, отображаемого пространства. Кроме того, устройство рабочего места позволяет располагать виртуальную отсчетную поверхность в виртуальном трехмерном динамическом отображении, например, земную поверхность, на том же уровне, как реально наличествующий модуль представления или, соответственно, сенсорный модуль.

Тем самым удаление виртуальных объектов от поверхностей областей представления может быть сокращено и, таким образом, конфликт между конвергенцией и аккомодацией у наблюдателя уменьшен. Также вследствие этого уменьшены мешающие влияния на впечатление трехмерности, которые возникают вследствие того, что оператор действует рукой в отображаемом объеме и глаз наблюдателя воспринимает, таким образом, одновременно реальный объект, то есть руку оператора, и виртуальные объекты.

Сенсорный модуль 120 выполнен для выдачи ответного сигнала оператору при прикосновении руки оператора к сенсорному модулю. Прежде всего, в случае использования оптического или, соответственно, акустического ответного сигнала, ответ оператору может происходить в результате обнаружения регистрирующим устройством (не показано) координат соприкосновения на сенсорном модуле и, например, модуль представления выдает оптический ответный сигнал или, соответственно, звуковой модуль (не показан) выдает акустический ответный сигнал.

Сенсорный модуль может выдавать осязательный или, соответственно, тактильный ответный сигнал посредством вибрации или, соответственно, колебаний исполнительных пьезоэлементов.

Фиг. 2 показывает устройство 200 рабочего места с устройством 100 представления, которое выполнено для представления трехмерного виртуального динамического отображения, а также с тремя обычными показывающими элементами 210, 211, 212 для двухмерного представления графической и прочей информации, а также с двумя обычными устройствами ввода и, соответственно, взаимодействия, такими как компьютерная мышь 171 и так называемая «space-mouse» (пространственная мышь) 170, причем это устройство взаимодействия обладает шестью степенями свободы и позволяет управлять элементами в пространстве, например, в трехмерном динамическом отображении.

Впечатление трехмерности от представленного устройством 100 представления динамического отображения возникает у наблюдателя вследствие того, что он надевает соответствующие очки 160.

Как это принято при использовании стереоскопических техник визуализации, очки выполнены для снабжения глаз наблюдателя различными изображениями таким образом, что у наблюдателя возникает впечатление трехмерного динамического отображения. Очки 160 содержат несколько так называемых отражателей 161, которые служат для обнаружения положения глаз наблюдателя перед устройством 100 представления и, таким образом, при необходимости, приспособления передачи трехмерного виртуального изображения к положению наблюдателя. Устройство 200 рабочего места может содержать для этой цели, например, модуль распознавания положения (не показан), который обнаруживает положение глаз на основе положения отражателей 161, например, посредством системы камер в составе нескольких камер.

Фиг. 3 показывает перспективное изображение устройства 100 представления с модулем 110 представления и сенсорным модулем 120, причем модуль 110 представления содержит первую область 111 представления и вторую область 112 представления.

В отображаемом объеме 130 обозначено трехмерное виртуальное динамическое отображение с несколькими виртуальными объектами 301. На виртуальной поверхности 310 представления для каждого виртуального объекта в отображаемом объеме 130 указана область 302 выбора. Каждая область 302 выбора может быть связана с выделенной этой области выбора виртуальной областью 301 посредством элемента 303 выбора.

Тем самым элемент 303 выбора облегчает пользователю назначение области 302 выбора для виртуального объекта 301. Таким образом, процесс выбора виртуального объекта может быть ускорен и упрощен.

Поверхность 310 представления может быть пространственно расположена в трехмерном виртуальном динамическом отображении таким образом, что поверхность 310 представления покрыта сенсорным модулем 120. Это приводит к тому, что области 302 выбора также располагаются на сенсорном модуле 120. Выбор виртуального объекта 301 в трехмерном виртуальном изображении происходит тем самым вследствие касания оператором сенсорного модуля 120 своим пальцем в том месте, на котором размещена область 302 выбора выбираемого виртуального объекта.

Сенсорный модуль 120 выполнен для передачи координат места прикосновения пальца оператора в вычислительный модуль, который сопоставляет координаты места прикосновения с координатами представления областей 302 выбора и получает тем самым возможность определить выбранный виртуальный объект.

Сенсорный модуль 120 может быть выполнен, прежде всего, таким образом, что он реагирует на прикосновение оператора лишь на тех местах, для которых представлена область выбора. Это позволяет оператору так расположить свои руки на сенсорном модуле, что они не касаются никакой области выбора, причем положение рук оператора позволяет предотвратить утомление и поддерживать простое взаимодействие с виртуальным динамическим отображением.

Описанное построение устройства 100 представления позволяет оператору тем самым взаимодействовать с виртуальным трехмерным изображением и получать реальный ответный сигнал уже только вследствие того, что он действительно реально ощущает при выборе виртуальных объектов, располагающиеся на реально наличествующем сенсорном модуле 120 области 302 выбора за счет контакта руки или, соответственно пальца, с сенсорным модулем 120.

При прикосновении с областью 302 выбора сигнал оператору об осуществленном выборе виртуального объекта 301 может быть подан, например, вибрацией сенсорного модуля 120.

Может вибрировать как весь сенсорный модуль 120, так и лишь отдельные области сенсорного модуля 120. Таким образом, например, сенсорный модуль 120 может приводиться к вибрации только на площади выбранной области 302 выбора. Это может быть достигнуто, например, благодаря использованию в сенсорном модуле вибрирующих исполнительных пьезоэлементов, причем исполнительные пьезоэлементы приводятся в движение после регистрации координат места прикосновения к сенсорному модулю в соответствующем положении.

Наряду с выбором виртуальных объектов 301 на области 302 выбора, виртуальные объекты также могут выбираться в результате прикосновения к сенсорному модулю 120 в положении соприкосновения элемента выбора в форме вертикально проходящего в виртуальном трехмерном изображении светового цилиндра или, соответственно, конусного луча света, и последующего направления этого элемента выбора путем перемещения пальца на сенсорном модуле 120. Виртуальный объект 301 выбирается тогда в результате приведения к перекрытию элемента выбора с выбираемым виртуальным объектом.

Для предотвращения ошибочного выбора виртуального объекта выбор может происходить, например, с задержкой таким образом, что виртуальный объект выбирается только в случае, если элемент выбора остается заданное время в перекрытии с соответствующим виртуальным объектом. Также при этом может быть подан сигнал об осуществленном выборе вибрацией сенсорного модуля или колебанием исполнительных пьезоэлементов и оптическим или акустическим способом.

Фиг. 4 показывает устройство 100 представления с модулем 110 представления и сенсорным модулем 120. В первой области 111 представления демонстрируется в двухмерном представлении обзорная область, а в отображаемом объеме 130 подробно показана часть 401 обзорной области в виде трехмерного динамического отображения 402.

В детальной области 402 представлены в виде виртуальных трехмерных объектов 301 объекты, находящиеся в части обзорной области.

Устройство 100 представления, как описано выше и ниже, позволяет оператору изменять детальную область 402 в результате смещения части обзорной области 401 или в результате перемещения выделенного фрагмента детальной области 402 в трехмерном представлении в направлении по меньшей мере одной из трех заданных координат х, у или z.

Фиг. 5 показывает устройство 200 рабочего места с устройством 100 представления и взаимодействующего с представленным трехмерным виртуальным динамическим отображением наблюдателя 501. Устройство 100 представления содержит первую область 110 представления и вторую область 120 представления, которые образуют совместно с глазами оператора 501 отображаемый объем 130, в котором находятся виртуальные объекты 301 трехмерного виртуального динамического отображения.

Расстояние пользователя 501 от устройства 100 представления может быть задано таким образом, чтобы обеспечить пользователю возможность достигать большей части или всего отображаемого объема 130 по меньшей мере одной из его рук. Тем самым реальное положение руки 502 пользователя, реальное положение устройства 100 представления и виртуальное положение виртуальных объектов 301 в виртуальном трехмерном динамическом отображении отклоняются при этом в минимальной степени друг от друга, что сводит к минимуму конфликт между конвергенцией и аккомодацией в зрительном аппарате пользователя. Построение устройства рабочего места способно поддерживать более длительное сконцентрированное использование устройства рабочего места, как описано выше и ниже, при одновременном уменьшении побочных эффектов конфликта между конвергенцией и аккомодацией у пользователя, таких как, например, головные боли и тошнота.

Устройство представления, как описано выше и ниже, может быть очевидно выполнено для представления виртуальных объектов, виртуальные местоположения которых находятся с точки зрения пользователя за поверхностью визуализации модуля представления. Однако в этом случае никакое непосредственное взаимодействие пользователя с виртуальными объектами не является возможным, поскольку пользователь не может проникнуть рукой сквозь модуль представления.

Фиг. 6 показывает устройство 100 представления с модулем 110 представления трехмерного виртуального динамического отображения и с сенсорным модулем 120. В отображаемом объеме 130 отображаются виртуальные трехмерные объекты 301.

В трехмерном виртуальном изображении размещена виртуальная поверхность 601, по которой может перемещаться элемент 602 маркировки. Элемент 602 маркировки перемещается только по виртуальной поверхности 601, причем элемент 602 маркировки обладает в своем перемещении двумя линейными степенями свободы. Другими словами, элемент 602 маркировки выполнен для осуществления двухмерного перемещения. Тем самым элемент маркировки может управляться, например, посредством обычной компьютерной мыши.

Выбор виртуального объекта в трехмерном динамическом отображении происходит посредством обнаружения положения по меньшей мере одного глаза 503 пользователя с помощью отражателей 161 на носимых пользователем очках и последующего расчета линии 504 связи между обнаруженным положением глаза 503 и элементом 602 маркировки в виртуальном трехмерном динамическом отображении в отображаемом объеме 130.

Линия связи может быть рассчитана, очевидно, также исходя из усредненного положения обоих глаз наблюдателя. При этом положение глаз пользователя может быть обнаружено как при наличии очков с соответствующими отражателями, так и без них. Необходимо отметить, что в связи с изобретением могут быть использованы произвольные механизмы и способы обнаружения положения глаз.

Выбор виртуального объекта 301 в трехмерном виртуальном динамическом отображении происходит посредством продления линии 504 связи в отображаемом объеме 130, и виртуальный объект выбирается, когда его виртуальные координаты пересекает линия 504 связи. Выбор виртуального объекта 301 отмечается, например, посредством указателя 603 выбора.

Очевидно, виртуальная поверхность 601, по которой перемещается элемент 602 маркировки, может быть расположена также таким образом в виртуальном динамическом отображении в отображаемом объеме 130, что с точки зрения пользователя виртуальные объекты 301 находятся перед виртуальной поверхностью 601 и/или за ней.

Как только элемент 602 маркировки на виртуальной поверхности 601 перемещается настолько, что линия 504 связи пересекает координаты виртуального объекта 301, элемент 602 маркировки может представляться в трехмерном динамическом отображении таким образом, что он получает виртуальные трехмерные координаты выбранного объекта с дополнительной информацией по глубине или, соответственно, информацией по изменению глубины. С точки зрения пользователя это изменение представляется тогда таким образом, что элемент 602 маркировки, как только виртуальный объект 301 выбран, делает пространственное перемещение либо к пользователю, либо прочь от пользователя.

Это делает возможным взаимодействие с виртуальными объектами в трехмерных динамических отображениях посредством простых в обращении двухмерных устройств взаимодействия, таких как, например, компьютерные мыши. Это позволяет, в противоположность специальным трехмерным устройствам взаимодействия с тремя степенями свободы, предоставлять более простое и быстрее осваиваемое взаимодействие с трехмерным динамическим отображением, поскольку для взаимодействия используется устройство ввода с меньшим числом степеней свободы.

Фиг. 7 показывает схематическое представление способа согласно варианту осуществления изобретения.

На первом этапе 701 происходит касание поверхности выбора виртуального объекта на поверхности представления трехмерного виртуального динамического отображения.

При этом поверхность выбора соединена с виртуальным объектом таким образом, что касание поверхности выбора делает возможным однозначную идентификацию соответствующим образом выбранного виртуального объекта.

На втором этапе 702 происходит визуализация элемента выбора в трехмерном виртуальном динамическом отображении.

При этом элемент выбора может быть, например, представлен проходящий вертикально в трехмерном виртуальном динамическом отображении световым цилиндром. Элемент выбора может быть визуализирован в зависимости от длительности касания поверхности выбора, то есть элемент выбора визуализируется, как только пользователь касается поверхности выбора и может снова затемняться, как только пользователь удаляет свой палец с поверхности выбора. Этим пользователю предоставлена возможность прерывать или, соответственно, заканчивать процесс выбора виртуального объекта, например, вследствие того, что пользователь решает выбрать другой виртуальный объект.

На третьем этапе 703 перемещение элемента выбора происходит соответственно перемещению пальца оператора на поверхности представления.

До тех пор, пока пользователь не удалит свой палец с поверхности представления или, соответственно, сенсорного модуля, однажды визуализированный элемент выбора остается в виртуальном динамическом отображении и может перемещаться в виртуальном динамическом отображении в результате перемещения пальца на поверхности представления или, соответственно, сенсорного модуля.

Это позволяет пользователю предпринимать выбор виртуального объекта путем постепенного сближения элемента выбора с выбираемым в настоящий момент виртуальным объектом.

На четвертом этапе 704 происходит выбор объекта в трехмерном динамическом отображении за счет приведения элемента выбора в перекрытие с подлежащим выбору объектом.

Выбор объекта может происходить, например, в результате пребывания элемента выбора заданное время в перекрытии с выбираемым объектом, например, одну секунду. Очевидно, период, по истечении которого виртуальный объект представляется в качестве выбранного, может быть установлен произвольной продолжительности.

На пятом этапе 705 оператору выдается ответный сигнал после произошедшего выбора виртуального объекта.

При этом ответ может быть осязательным/тактильным, оптическим или акустическим, как уже описано выше.

В заключение необходимо особо отметить, что признаки изобретения, если даже они представлены в виде отдельных примеров, не могут быть взаимно исключены из совместного применения в устройстве рабочего места, но могут быть использованы в совокупной комбинации в устройстве рабочего места для представления трехмерного виртуального динамического отображения.

Изобретение относится к устройствам представления трехмерного виртуального динамического отображения. Технический результат заключается в снижении утомляемости пользователя при использовании устройства представления. Устройство содержит модуль представления для виртуального динамического отображения, сенсорный модуль для управляемого прикосновением выбора объекта в виртуальном динамическом отображении. Сенсорный модуль расположен на поверхности представления виртуального динамического отображения и причем сенсорный модуль при произошедшем выборе объекта выдает ответный сигнал оператору устройства представления. Сенсорный модуль выполнен в виде плоского элемента, расположен в отображаемом объеме трехмерного виртуального динамического отображения и выполнен с возможностью выбора объекта в виртуальном динамическом отображении на основе места прикосновения к сенсорному модулю. 4 н. и 6 з.п. ф-лы, 7 ил.

1. Устройство (100) представления трехмерного виртуального динамического отображения для выбора объектов в виртуальном динамическом отображении с ответным сигналом при произошедшем выборе одного из объектов, содержащее:
- модуль (110) представления для виртуального динамического отображения,
- сенсорный модуль (120) для управляемого прикосновением выбора объекта в виртуальном динамическом отображении,
причем сенсорный модуль расположен на поверхности (310) представления виртуального динамического отображенияи
причем сенсорный модуль при произошедшем выборе объекта выдает ответный сигнал оператору устройства представления, и
причем сенсорный модуль выполнен в виде плоского элемента, расположен в отображаемом объеме трехмерного виртуального динамического отображения и выполнен с возможностью выбора объекта в виртуальном динамическом отображении на основе места прикосновения к сенсорному модулю.

2. Устройство представления по п. 1, сенсорный модуль выполнен для представления области (302) выбора объекта, причем выбор объекта происходит путем касания области выбора.

3. Устройство представления по п. 2, ответный сигнал по меньшей мере частично происходит посредством вибрации сенсорного модуля.

4. Устройство представления по п. 3, сенсорный модуль содержит несколько областей, которые являются выборочно отбираемыми для подачи тактильного ответного сигнала.

5. Устройство представления по п. 1, ответный сигнал по меньшей мере частично происходит посредством подачи оптического сигнала.

6. Устройство представления по п. 1, ответный сигнал по меньшей мере частично происходит посредством подачи акустического сигнала.

7. Устройство представления по п. 1, модуль представления содержит обзорную область (401) и детальную область (402), причем детальная область показывает выбираемую часть виртуального изображения обзорной области.

8. Устройство (200) рабочего места для наблюдения за трехмерным виртуальным динамическим отображением с устройством представления по одному из пп. 1-7.

9. Применение устройства рабочего места по п. 8 для наблюдения за воздушными пространствами.

10. Применение устройства рабочего места по п. 8 для наблюдения за беспилотными летательными аппаратами и управления ими.