Настоящее изобретение относится к удаленному управлению устройством, беспилотной летательной системой (БЛС), беспилотным летательным аппаратом (БЛА) или иным аппаратом или устройством, и, более конкретно, к способу и системе для управления работой устройства с использованием комплексного моделирования с возможностью временного сдвига.
Одной проблемой, связанной с удаленным управлением системой или устройством, является время запаздывания. Чаще всего это относится к системе или устройству, которые, по меньшей мере, частично управляются удаленным человеком или компьютером. В общем виде время запаздывания можно определить как промежуток времени между управляющим вводом оператора и восприятием оператором отклика на ввод. Время запаздывания ограничивает быстроту, с которой можно выполнить управляющий ввод в ответ на изменения датчиков.
Типичные компоненты, вносящие вклад во время запаздывания, могут включать в себя обработку сигнала датчика; время ожидания сигнала, ожидающего своего места в потоке данных; время прохождения сигнала от удаленного устройства или передатчика системы к приемнику базовой станции; вычисление требуемого управляющего отклика компьютером базовой станции или оператором; обработку этого ответа; время ожидания откликом сегмента в потоке данных; время передачи между базовым передатчиком и удаленным приемником; обработку сигнала удаленной системой и время задержки управляющего движения. Например, для марсохода Mars Rover время запаздывания составляет порядка 20 минут из-за огромного расстояния между марсоходом на Марсе и базовой станцией на Земле. Управление системой находящимися на Земле операторами должно быть в высшей степени просчитанным и медленным, чтобы обеспечить управляющее воздействие на основе точных данных датчиков.
Одно решение в отношении времени запаздывания состоит в том, чтобы уменьшить время запаздывания в каждом звене цепочки системы управления. Однако в некоторых ситуациях такое сокращение может быть ограниченным. В случае удаленной работы ограничением может служить простая задержка сигналов из-за конечной скорости света.
Другие компоненты времени задержки также может быть трудно устранить или сократить.
Другое решение может заключаться в том, чтобы перенести большую часть задач обработки в устройство или аппарат. Тем самым аппарат становится автономным при краткосрочной работе и менее часто принимает управляющие команды от базовой станции, которые имеют более общий характер. Однако в некоторых типах систем целесообразно применять управление, осуществляемое человеком, особенно там, где ошибка ведет к серьезным последствиям или когда контекст или среда работы являются сложными и неопределенными. С другой стороны, перенос задач обработки системы управления в аппарат может подразумевать нахождение оператора-человека на борту аппарата или в системе. Одним недостаткам такого подхода является возможное воздействие на оператора потенциальных опасностей. Другим недостатком является то, что средства жизнеобеспечения, предназначенные для находящегося на борту оператора-человека, могут повысить сложность, вес и стоимость системы. В альтернативном варианте перенос значительной части органов управления с базовой станции на удаленную систему, не имеющую оператора-человека, уменьшает степень управляемости системы в целом со стороны человека. Один недостаток этого состоит в том, что система может "решить" предпринять действие, от которого оператор-человек по той или иной причине мог бы воздержаться.
Другим возможным решением в отношении времени запаздывания может быть работа в повторяющемся цикле "движение-пауза". Такое средство управления работой используется для некоторых команд, предназначенных для беспилотных космических аппаратов, таких как Mars Rover. Применение медленного цикла "движение-пауза" может снизить производительность системы, поскольку система не может ничего выполнять на фазе цикла "пауза". Такой способ управления может также означать, что конструкция системы должна быть устойчивой (если не неподвижной) во время фазы цикла "пауза". Это дополнительное ограничение для системы может отрицательно повлиять на вес, сложность и стоимость.
Кроме того, работа некоторых систем сопряжена с возможностью ошибок оператора. В настоящем документе термин "оператор" может относиться к оператору-человеку либо к оператору, не являющемуся человеком, или к компьютерному оператору. Например, для выполнения некоторых заданий может потребоваться полет беспилотного летательного аппарата как можно ближе к земле с высокой скоростью. Такой режим иногда называется "огибанием рельефа местности". Огибание рельефа местности затрудняется в случае переменного или холмистого рельефа местности. Минимальная высота, на которой может лететь летательный аппарат, отчасти ограничена способностью аппарата приобретать вертикальное ускорение (вверх или вниз) посредством управляющего воздействия на руль высоты. Такое ограничение свойственно всем летательным аппаратам. Другое ограничение по высоте связано со способностью удаленного оператора или системы управления правильно определять точку подъема, чтобы не врезаться в гору, или спуска, чтобы спуститься в долину. Небольшая задержка с подъемом может привести к неизбежному столкновению с горой. Слишком ранний спуск в долину также может привести к столкновению. Кроме того, в идеальном случае в безветренную погоду может быть и можно заранее рассчитать оптимальную траекторию фактического полета. Но на практике могут быть такие изменения условий во время реального полета, которые нельзя предвидеть или точно предсказать. Эти изменения могут включать в себя ветер, изменения направления ветра, турбулентность, восходящие и нисходящие потоки. Другие непредвиденные условия могут включать в себя новые препятствия, такие как мачты, линии электропередачи и другие препятствия или опасности. Неопределенность условий отчасти может зависеть от промежутка времени между последними измерениями или наблюдениями и фактической работой или полетом, причем чем больше промежуток времени, тем больше неопределенность.
Один способ уменьшить ошибку оператора заключается в управлении системой с "коэффициентом безопасности", который обеспечивает продолжение безопасной работы системы в случае ошибки оператора или непредвиденного условия. Вообще говоря, можно статически определить коэффициент безопасности на таком уровне, чтобы снизить ошибки до приемлемого уровня. Однако коэффициент безопасности обычно отрицательно влияет на работу в отношении эффективности того или иного показателя.
Другой способ сократить ошибки оператора может заключаться в замене операторов-людей компьютерами. Однако и у такого подхода имеются недостатки. Обычно программное обеспечение для управления сложными системами в автономном режиме является сложным и дорогим, особенно когда система должна быть очень надежной. Кроме того, операторы-люди считаются в целом более гибкими перед лицом непредвиденных обстоятельств и более компетентными при принятии чрезвычайно важных решений в сложных обстоятельствах.
В соответствии с вариантом выполнения настоящего изобретения способ управления устройством может включать в себя создание комплексной имитационной модели реальной среды, в которой устройство действует или будет действовать. Комплексная имитационная модель может быть создана с использованием заданных данных и данных, поступающих в режиме реального времени, которые относятся к реальной среде. Способ может также включать в себя представление моделирования, включающее представление реального устройства, действующего в комплексной имитационной модели реальной среды, обеспечение управления работой моделирования и представления устройства в комплексной имитационной модели реальной среды. Способ может дополнительно включать в себя управление работой реальным устройством в реальной среде с использованием моделирования устройства в комплексной имитационной модели реальной среды.
В соответствии с другим вариантом выполнения настоящего изобретения система для управления устройством может включать в себя процессор для создания комплексной имитационной модели реальной среды, в которой устройство действует или будет действовать, причем комплексная имитационная модель создается с использованием заданных данных и данных, поступающих в режиме реального времени, которые относятся к реальной среде. Система может также включать в себя устройство отображения для представления моделирования, включающего представление устройства, действующего в комплексной имитационной модели реальной среды. Может быть предусмотрен управляющий интерфейс для обеспечения управления работой по моделированию устройства в комплексной имитационной модели реальной среды. Система может также включать в себя приемопередатчик для передачи устройству управляющего сценария для управления работой устройства в реальной среде с использованием моделирования устройства в комплексной имитационной модели реальной среды.
Другие объекты и признаки настоящего изобретения, определяемого исключительно формулой, станут ясны специалистам в данной области техники после рассмотрения нижеследующего неограничивающего подробного описания изобретения в сочетании с прилагаемыми чертежами.
На фиг.1 приведена блок-схема последовательности операций для примера способа управления работой устройства с использованием комплексного моделирования с возможностью учета времени запаздывания в соответствии с вариантом выполнения настоящего изобретения.
На фиг.2 приведена блок-схема примера системы для управления работой устройства с использованием комплексного моделирования с возможностью учета времени запаздывания в соответствии с вариантом выполнения настоящего изобретения.
Нижеследующее подробное описание вариантов выполнения приводится со ссылками на прилагаемые чертежи, которые иллюстрируют частные варианты выполнения изобретения. Другие варианты выполнения, имеющие иные конструктивные элементы и выполняющие другие операции, не выходят за пределы объема настоящего изобретения.
Как должно быть понятно специалисту в данной области техники, настоящее изобретение может быть выполнено в виде способа, системы или компьютерного программного продукта. Соответственно, отдельные части настоящего изобретения могут иметь полностью аппаратное выполнение, полностью программное выполнение (включая встроенные программы, резидентные программы, микрокод и т.д.) или выполнение, сочетающее в себе программные или аппаратные средства, которые могут в целом называться в настоящем документе "схема", "модуль", "блок" или "система". Кроме того, настоящее изобретение может иметь вид компьютерного программного продукта на используемом компьютером носителе данных, содержащем используемый компьютером программный код, реализованный на носителе.
Можно использовать любой подходящий используемый компьютером или машиночитаемый носитель. Используемый компьютером или машиночитаемый носитель может быть, например, но не только, электронной, магнитной, оптической, электромагнитной, инфракрасной или полупроводниковой системой, устройством или средой распространения. Частные примеры машиночитаемого носителя могут включать в себя следующее (список неисчерпывающий): электрическое соединение при помощи одного или двух проводов, материальный носитель, такой как носимая компьютерная дискета, жесткий диск, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ или флэш-память), волоконно-оптический кабель, переносной компакт-диск с постоянной памятью (CD-ROM) или другие материальные оптические или магнитные запоминающие устройства; либо среды передачи данных типа тех, что поддерживают Интернет или интрасеть. Заметим, что используемым компьютером или машиночитаемым носителем может быть даже лист бумаги или другой подходящий носитель, на котором напечатана программа, поскольку программа может быть воспринята, например, посредством оптического сканирования листа бумаги или другого носителя, затем скомпилирована, интерпретирована или иным образом обработана соответствующим образом, если в этом есть необходимость, и затем сохранена в памяти компьютера. В настоящем документе используемым компьютером или машиночитаемым носителем может быть любой носитель, который может содержать, хранить, передавать, распространять или переносить программу, предназначенную для использования или связанную с системой или устройством выполнения команд.
Компьютерный программный код для выполнения операций настоящего изобретения может быть написан на языке объектно-ориентированного программирования, такого как Java, Smalltalk, C++ или тому подобном. Однако компьютерный программный код для выполнения операций настоящего изобретения может быть также написан на обычном языке процедурного программирования, таком как язык программирования "С" или подобный язык программирования. Программный код может выполняться на компьютере пользователя полностью, выполняться на компьютере пользователя частично в качестве отдельного программного пакета, выполняться частично на компьютере пользователя или частично на удаленном компьютере или выполняться полностью на удаленном компьютере или сервере. В последнем случае удаленный компьютер может быть соединен с компьютером пользователя локальной сетью (LAN) или глобальной сетью (WAN), либо может быть обеспечено соединение с внешним компьютером (например, через Интернет при помощи провайдера интернет-услуг).
Настоящее изобретение описано ниже со ссылкой на иллюстрации с блок-схемой последовательности операций и (или) на блок-схемы способов, устройств (систем) и компьютерных программных продуктов согласно вариантам выполнения изобретения. Следует иметь в виду, что каждый блок на иллюстрациях с блок-схемой последовательности операций и (или) на блок-схемах, а также сочетания блоков на иллюстрациях с блок-схемой последовательности операций и (или) на блок-схемах могут быть реализованы в виде команд компьютерной программы. Эти команды компьютерной программы могут поступать на процессор компьютера общего назначения, специализированного компьютера или другого программируемого устройства обработки данных для получения машины, так чтобы команды, выполняемые процессором компьютера или другого программируемого устройства обработки данных, создавали средство для реализации функций/действий, указанных в блок-схеме последовательности операций и (или) на блоке или блоках блок-схемы.
Эти команды компьютерной программы могут также храниться в машиночитаемой памяти, которая может определять функционирование компьютера или другого программируемого устройства обработки данных определенным образом, так чтобы команды, хранящиеся в машиночитаемой памяти, создавали изделие, в том числе средство выполнения команд, которое реализует функцию/действие, указанную в блок-схеме последовательности операций или на блоке или блоках блок-схемы.
Команды компьютерной программы могут быть также загружены в компьютер или в другое программируемое устройство обработки данных для обеспечения выполнения последовательности операционных этапов на компьютере или другом программируемом устройстве для получения реализуемого на компьютере процесса, так чтобы команды, выполняемые на компьютере или другом программируемом устройстве, обеспечивали этапы для реализации функций/действий, указанных в блок-схеме последовательности операций или на блоке или блоках блок-схемы.
На фиг.1 приведена блок-схема последовательности операций для примера способа 100 управления работой устройства с использованием комплексного моделирования с возможностью учета задержки времени в соответствии с вариантом выполнения настоящего изобретения. Устройство может быть беспилотной летательной системой (БЛС), беспилотным летательным аппаратом (БЛА) или другим воздушно-космическим аппаратом, наземным аппаратом, таким как Mars Rover, Lunar Rover, другим используемым на Земле аппаратом, судном, необитаемым подводным аппаратом или машиной, заводом, машиной на заводе или системой любого типа.
На этапе 102 могут быть получены заданные данные или информация, относящаяся к действительной задаче, или рабочей среде, или контексту, в котором работает или может работать устройство. Примерами заданных данных могут служить фотографии или изображения реальной среды или контекста; очертания рельефа; прогноз погоды; описания, местоположения и другая информация, относящаяся к любым целям или интересующим местам в среде или контексте; описания, местоположения и другая информация, относящаяся к имеющимся в среде угрозам и опасностям для устройства; либо любые другие данные, относящиеся к среде или к контексту работы, которые могут представлять интерес. Заданные данные могут быть получены при помощи спутника или спутниковой системы, воздушной и (или) наземной разведки, фиксированных средств наблюдения, датчиков, связанных с любым из вышеперечисленного, и других средств.
На этапе 104 на основе заданных данных может быть получена или сформирована по меньшей мере одна виртуальная модель реальной рабочей среды.
На этапе 106 могут быть получены поступающие в режиме реального времени данные или информация, относящаяся к реальной рабочей среде или к среде или контексту выполнения задания. Примерами поступающих в режиме реального времени данных или информации могут служить фотографии или изображения реальной среды или контекста; очертания рельефа; прогноз погоды; описания, местоположения и другая информация, относящаяся к любым целям или интересующим местам в среде или контексте; описания, местоположения и другая информация, относящаяся к имеющимся в среде угрозам и опасностям для устройства; либо любые другие данные, относящиеся к среде или к контексту работы, которые могут представлять интерес. Поступающие в режиме реального времени данные могут быть также получены при помощи спутника или спутниковой системы, воздушной и (или) наземной разведки, фиксированных точек наблюдения, датчиков, связанных с любым из вышеперечисленного, или других средств.
На этапе 108 на основе поступающих в режиме реального времени данных может быть сформирована или получена по меньшей мере одна виртуальная модель реальной среды или контекста выполнения задания.
На этапе 110 виртуальные модели могут быть соединены или объединены для получения или формирования комплексной имитационной модели реальной рабочей среды, среды или контекста выполнения задания, в которых действует или будет действовать устройство. Примеры программ, которые могут использоваться для моделирования рабочей среды, могут включать в себя программу Google Earth от компании Google, Маунтин-Вью, Калифорния; Global-Scenery или X-Scenery от компании Laminar Research, Коламбия, Южная Каролина или аналогичные программные приложения. Точные трехмерные компьютерные модели на основе множества фотографий могут быть получены с использованием таких программ, как PhotoModeler от компании EOS Systems, Inc., Ванкувер, Британская Колумбия, Канада, или аналогичные программы. Google является товарным знаком компании Google, Inc. в Соединенных Штатах, и (или) в других странах. Global-Scenery и X-Scenery являются товарными знаками компании Laminar Research в Соединенных Штатах и (или) в других странах, a PhotoModeler является товарным знаком компании EOS System, Inc. в Соединенных Штатах, Канаде и других странах. Комплексная имитационная модель может непрерывно обновляться на основе данных, поступающих в режиме реального времени, или других данных.
Можно также измерять или определять атмосферные и (или) погодные условия при помощи различных измерительных приборов и включать их в комплексную имитационную модель реальной среды. Например, движение атмосферы можно изменять дистанционно при помощи датчиков на основе лазеров или аналогичных датчиков. Можно также изменять или определять условия в рабочей среде или контексте при помощи различного типа электромагнитных датчиков, таких как радары, датчики микроволнового излучения, датчики инфракрасного и видимого света. Данные с этих датчиков можно обрабатывать множеством различных способов с упором на различные виды и типы информации. Например, в соответствии с принципом Доплера сдвиг частоты можно интерпретировать как движение цели или другого устройства.
На этапе 112 может быть сгенерировано или создано моделирование, включающее в себя представление реального устройства, действующего в комплексной имитационной модели реальной среды.
На этапе 114 моделирование, включающее в себя представление устройства, действующего в имитационной модели реальной среды, может быть представлено оператору для обеспечения управления работой моделирования или представления реального устройства в комплексной имитационной модели реальной среды.
На этапе 115 управление моделированием может осуществляться совместно с управлением смоделированным устройством в комплексной имитационной модели. Как описано более подробно в настоящем документе, оператор может управлять различными элементами моделирования, такими как траектория полета или маршрут следования устройства, скорость устройства или его модели; опция задержки времени, опция повторного выполнения операции, различные ракурсы для наблюдения за работой моделируемого устройства. Опция задержки времени позволяет задать промежуток времени между выполнением операций при моделировании и выполнением устройством этих или связанных операций в реальной среде. Задержку времени можно регулировать для предоставления большего времени для ответственных маневров или важных аспектов задачи и большего времени для принятия решения. Моделирование можно ускорить в период пониженной нагрузки и с целью увеличения времени задержки. Время задержки может позволить также исправлять ошибки или повторно выполнять отдельную операцию или функцию при моделировании до того, как эту операцию выполнит реальное устройство.
Компьютерное моделирование систем весьма распространено. Например, для подготовки пилотов в настоящее время применяется пилотажный тренажер. В пилотажных тренажерах обычно воспроизводится кабина пилота, на остеклении которой демонстрируются видеоизображения, и используются реальные управляющие воздействия. Характеристики полета самолета, а также внешняя среда могут быть смоделированы на компьютере. Для целей обучения могут быть запущены модели реальных заданий. В настоящее время распространены также облегченные имитаторы полета, в числе которых можно назвать X-Plane от компании Laminar Research и Microsoft Flight Simulator. В имитаторе X-Plane используются виды за пределами самолета и приборная панель на единственном компьютерном экране, и работать не нем можно с единственной клавиатурой и джойстиком. Доступно также моделирование многих других систем.
В соответствии с вариантом осуществления настоящего изобретения управляющие вводы, выполняемые оператором на модели, могут передаваться реальному устройству с временной задержкой. Оператор может регулировать временную задержку, чтобы обеспечить для моделирования возможность "паузы" или "перемотки назад". Оператор может остановить моделирование для выбора вариантов или для обдумывания в те промежутки времени, когда поступает слишком много информации. В альтернативном варианте оператор может прийти к выводу, что совершена ошибка и что выполнение определенной функции можно улучшить. В этом случае оператор может "отмотать" моделирование назад на определенный промежуток времени с тем, чтобы "повторно выполнить" операцию и исправить ошибку или улучшить выполнение. Следует заметить, что промежуток времени, на который осуществляется перемотка назад, не должен превышать задержку времени между моделированием и выполнением смоделированной операции реальным устройством. На этапе 118 можно управлять регулируемой временной задержкой и опцией повторного выполнения таким образом, чтобы опережать или, по меньшей мере, не отставать от работы реального устройства в реальной рабочей среде. Может выдаваться предупреждение, если выбор перемотки назад превышает задержку времени, или разрешение на перемотку может выдаваться только на величину задержки времени с определенным запасом, чтобы обеспечить отправку управляющих сигналов до того, как управляющее устройство должно будет выполнить маневр.
Пауза или перемотка назад уменьшают задержку времени. Если оператор хочет восстановить предыдущую задержку времени, он может запустить моделирование на повышенной скорости ("перемотка вперед") до тех пор, пока не будет достигнута требуемая задержка. В этом случае задержка между управляющим воздействием оператора и передачей управляющих сигналов устройству может регулироваться таким образом, чтобы для реального устройства время текло с постоянной скоростью.
Оптимальная задержка времени может отчасти зависеть от того, насколько изменчивой может быть рабочая среда. В статической среде можно использовать большие задержки. В крайне изменчивой среде задержка времени может быть сведена к нулю (или к минимуму, если некоторое запаздывание неизбежно). В некоторых случаях оптимальной задержкой может быть какой-либо промежуточный отрезок времени.
Возможная альтернатива паузе или повторному выполнению для исправления ошибок. В соответствии с другим вариантом выполнения настоящего изобретения смоделированные возможности устройства можно установить таким образом, чтобы они превосходили реальные возможности устройства. Иными словами, смоделированное устройство может управляться с измененными или улучшенными характеристиками по сравнению с реальным устройством для более эффективного выполнения некоторых операций или функций в условиях моделирования. Например, самолет может иметь ускорение в вертикальном направлении с силой, в 10 раз превосходящей силу тяготения, то есть 10 g. Этим накладывается ограничение, например, на то, в какой степени самолет может отслеживать контур холмистого рельефа. В то же время при моделировании обеспечивается возможность создавать тягу величиной, например, 20 g. При выполнении задания на модели оператор может следовать траектории, стараясь ограничивать ускорение величиной 10 g. Если он допускает ошибку, он может увеличить ускорение, чтобы на модели избежать столкновения с землей. Управляющая программа может исправить смоделированную траекторию полета с тем, чтобы реальный самолет настолько близко следовал смоделированной траектории полета, насколько это физически возможно, без превышения эксплуатационных пределов самолета. Степень возможного изменения траектории полета зависит от времени задержки. Соответственно, на этапе 120 может быть внесена необходимая компенсация на основе эксплуатационных ограничений реального устройства, так чтобы реальное устройство могло более эффективно выполнять смоделированные операции в действительности. В альтернативном варианте в некоторых системах может быть целесообразно ухудшить моделируемые возможности устройства. Такое ухудшение может, например, эффективно обеспечить запас характеристик между смоделированным сценарием и возможностями реальной системы. Это повышает вероятность того, что реальная система сможет в точности следовать сценарию с учетом неопределенных факторов среды или системы, которые могут ухудшить фактическую реализацию.
На этапе 122 может быть сгенерирован управляющий сценарий на основе моделирования. На этапе 124 управляющий сценарий может быть передан реальному устройству для управления работой устройства в реальной среде. Управляющий сценарий может непрерывно генерироваться в процессе управления работой моделирования устройства в комплексной имитационной модели реальной среды. Управляющий сценарий может затем передаваться в потоковом режиме реальному устройству. В потоковом режиме данные можно посылать по существу непрерывным потоком данных непосредственно на реальное устройство. Аналогично рассмотренному выше, управляющий сценарий может передаваться в потоковом режиме на реальное устройство после заданной временной задержки, так чтобы реальное устройство выполняло функцию через заданный промежуток времени после того, как эта функция выполнена при моделировании.
Варианты выполнения настоящего изобретения могут также справляться с изменчивостью качества выполнения операций реальным устройством по сравнению с точным и повторяемым поведением некоторых моделей. Например, заданные последовательности отклонений поверхности управления могут приводить к некоторой траектории полета самолета при одном полете и к совершенно иной траектории полета при последующем полете из-за небольших изменений атмосферных условий или других незначительных параметров. Эти изменения могут компенсироваться контролем требуемой траектории полета (в пространстве и времени) и обеспечением изменения поверхностей управления со стороны системы управления полетом самолета для поддержания траектории, указанной при моделировании. Несоответствие между траекторией, заданной самолету, и фактической траекторией может обеспечить систему управления информацией о возможностях самолета в определенный день при определенном наборе условий. Эта информация может быть также передана оператору, который может скорректировать задания для учета реальных возможностей самолета в реальной среде.
В соответствии с вариантом выполнения изобретения, описываемого со ссылкой на фиг.1, данные, поступающие в режиме реального времени, могут быть включены в имеющуюся компьютерную модель окружающей среды и в представление устройства. Тем самым обеспечивается учет динамических событий и условий при управлении реальным устройством. Оптимальная задержка времени может представлять собой компромисс между преимуществом наличия оперативной информации о среде и условиях эксплуатации с преимуществом возможности повторного выполнения некоторых операций и (или) изменения траекторий полета или других эксплуатационных изменений. Регулируемая задержка времени обеспечивает динамический ответ на изменения в окружающей среде. Примером такой комплексной возможности может служить объединение радиолокационных данных от реального устройства или самолета, которые обрабатываются таким образом, чтобы соответствовать геометрии, используемой при моделировании. Эти данные могут подвергаться фильтрации для получения новых данных, которые отсутствуют в базовой геометрии. Например, размещение препятствий, таких как аэростаты заграждения, может обнаруживаться радаром и отображаться при моделировании. В этом примере реальный самолет не должен сильно опережать моделирование (в пространстве) до такой степени, чтобы радар (или другие датчики) переставал видеть области, представляющие интерес для моделирования.
Другая характерная особенность настоящего изобретения заключается в том, что моделирование может использоваться для сокращения времени, требуемого оператору для выполнения задания, по сравнению с реальным временем выполнения задания. В этом режиме моделирование может осуществляться с повышенной скоростью, чтобы сократить продолжительность выполнения смоделированного задания. При воспроизведении моделирования для управления работой реального устройства воспроизведение осуществляется с правильной, или нормальной, скоростью. Заметим, что в этом режиме выполнение реального задания может начинаться одновременно с выполнением смоделированного задания.
В альтернативном варианте систему можно использовать для повышения точности действий оператора посредством замедления времени при моделировании, чтобы у оператора было больше времени для внесения корректировок в работу и тем самым повысить точность или обеспечить большую продуманность решений. В этом режиме моделирование должно начинаться до выполнения реального задания в такой момент времени, чтобы в конце выполнения задания моделирование сравнялось или оставалось впереди реального выполнения задания.
На фиг.2 приведена блок-схема примера системы 200 для управления работой устройства с использованием комплексного моделирования с возможностью задержки времени в соответствии с вариантом выполнения настоящего изобретения. Способ 100 может быть реализован в системе 200 или выполняться системой 200. Управляемое устройство, приведенное на фиг.2, представляет собой летательный аппарат 200, такой как (БЛС), (БЛА) или тому подобное, и вариант выполнения настоящего изобретения, приведенный на фиг.2, описывается с точки зрения управления работой самолета или летательного аппарата 202; однако настоящее изобретение может быть приспособлено для управления любого рода транспортным средством, машиной или системой.
Система 200 может включать в себя процессор 204 для обработки изображений для формирования комплексной имитационной модели 206 реальной рабочей среды 208 или контекста, в котором будут действовать устройство или летательный аппарат 202. Аналогично сказанному ранее, комплексная имитационная модель 206 среды может быть сформирована с использованием имеющихся данных или информации, относящихся к реальной среде 208, и данных, поступающих в режиме реального времени, которые относятся к реальной среде 206.
Процессор 204 для обработки изображений может быть связан с приемопередатчиком (Tx/Rx) 210. Приемопередатчик может принимать имеющиеся данные и (или) данные, поступающие в режиме реального времени, или текущие данные, относящиеся к реальной среде 208, от реального летательного аппарата 202 и от спутника 212 или от спутниковой системы, включающей в себя множество спутников. Приемопередатчик 210 может также принимать имеющиеся данные и данные, поступающие в режиме реального времени, относящиеся к среде 208, от других передвижных устройств, таких как другие транспортные средства (воздушные и наземные) или из неподвижных мест. Как более подробно описано ниже, летательный аппарат 210, другие устройства и транспортные средства и неподвижные места могут включать в себя датчики для определения определенных характеристик, относящихся к среде, таких как географические данные, информация об угрозах и целях, а также атмосферные и погодные условия и любые иные условия и информацию, которые могут представлять интерес или быть важными для выполнения задания.
Приемопередатчик 210 может также принимать данные от летательного аппарата 202, относящиеся к работе летательного аппарата 202, такие как географическое местоположение, скорость, высота, траектория полета, состояние систем аппарата и любые другие данные или информация, которые могут представлять интерес в зависимости от выполняемого задания. Например, летательный аппарат 202 может содержать приемник глобальной системы определения местоположения (GPS), который может выдавать информацию о широте, долготе и высоте, которая может быть передана летательным аппаратом 202 на передатчик 210 системы 200. Другой системой точного определения местоположения, которую можно использовать, может быть инерциальная система управления, действующая на основе значений ускорения по трем осям плюс информации об угловом положении, полученных от гироскопических датчиков, как известно и широко используется в навигации.
Процессор 204 для обработки изображений может включать в себя модель 214 геометрического преобразования и модуль 216 управления наложением. Модель 214 преобразования может преобразовывать данные, принятые от приемопередатчика 210, для использования при формировании комплексной имитационной модели 206 реальной среды. Модель 216 управления наложением может надлежащим образом совмещать или накладывать друг на друга виртуальные модели или изображения реальной рабочей среды 208, полученные на основе имеющихся данных и данных, полученных в режиме реального времени, относящихся к реальной среде 208, для формирования комплексной имитационной модели реальной среды для представления на устройство 225 отображения.
Модель 216 управления наложением может выполнять функцию отображения. Отображение изображений означает преобразование информации о двух- или трехмерном изображении из одной формы в другую. Примером устройства, которое можно использовать для отображения изображений, служит фотоаппарат. Фотоаппарат обеспечивает точку съемки (фокус линзы) и плоскость изображения (обычно плоскую). Точки во внешнем мире проецируются через точку съемки на плоскость изображения. Конкретные результаты отображения зависят от ориентации камеры, размера плоскости изображения относительно расстояния от изображения до точки съемки (фокальное расстояние) и ряда других факторов. Фотоаппарат может отображать любой трехмерный массив, находящийся в его поле зрения, на плоскость изображения.
Другой вид отображения относится к преобразованию формы изображений для представления одного и того же изображения с различных точек зрения. Пример этого можно увидеть на некоторых дорогах, где слова (например, "stop") написаны так, что сверху они выглядят очень вытянутыми, но с точки зрения водителя они кажутся нормальными. Другим примером может служить спутниковая фотография участка земной поверхности. Съемка этого изображения производится с такой высокой точки, что проекция получается почти вертикальной. Это изображение можно подвергнуть отображению (или искажению), чтобы оно выглядело геометрически правильным с другой точки зрения. Если поверхность земли представляется неплоской и ее геометрическая форма известна, то спутниковое изображение можно отобразить таким образом, чтобы оно выглядело геометрически правильным с любой точки зрения. Одним примером программы для отображения спутниковых изображений является упомянутая выше программа Google Earth, которая обеспечивает трехмерный вид поверхности земли с произвольного места и угла при помощи отображения спутниковых изображений на геометрические очертания земли.
Примеры других, помимо камер, устройств, которые можно использовать для отображения, могут включать в себя радар, лидар, сонар и СВЧ-радар. Другие устройства, такие как параболические микрофоны, могут определять относительный угол точечных источников энергии или отражения энергии.
Трехмерное (3D) отображение является более сложным видом отображения, которое также можно выполнить. Трехмерное отображение можно осуществить несколькими способами. В одном способе можно использовать сканирующий лазерный дальномер, Лазерный дальномер сканирует поле зрения по всему диапазону горизонтальных и вертикальных углов при помощи импульсного лазера. По времени между исходным импульсом и его возвращением устройство вычисляет расстояние до любых внешних объектов. Устройство собирает эту информацию в матрицу точек, и из этого "облака точек" может быть вычислена геометрия трехмерной поверхности.
В другом способе трехмерного отображения используется множество изображений от одного или нескольких фотоаппаратов. Эти изображения можно использовать в качестве улучшенного варианта получения стереоскопического изображения для вычисления точной геометрии объекта. Для получения 3D -геометрии объекта можно проанализировать геометрию общих точек на множестве изображений (сделанных с множества точек зрения) объекта. Если местоположение точки зрения, угол и поле зрения по меньшей мере одного изображения известны, можно вычислить местоположение и масштаб 3D-геометрии. Предпочтительно, чтобы множество изображений были получены с различных точек зрения, которые не находятся на одной прямой относительно объекта или субъекта. Желательно также, чтобы точки зрения не лежали на одной плоскости, которая пересекает объект или субъект. Кроме того, большое разнообразие различных точек зрения обеспечивает разницу в точках зрения, что является существенным и повышает точность вычислений. Примером прикладной программы, которая может выполнять такое 3D-отображение, является программа Photosynth от компании Microsoft Live Labs. Microsoft и Photosynth - товарные знаки компании Microsoft Corporation, Редмонд, штат Вашингтон. Как указано на web-сайте Microsoft Live Labs Photosynth, программа Photosynth может взять большую коллекцию фотографий какого-либо места или объекта и проанализировать их на предмет сходства. Затем фотографии могут быть отображены в преобразованном трехмерном пространстве. На основе этих фотографий при помощи Photosynth пользователь может виртуально ходить или летать по месту действия для осмотра места или объекта с любого угла. Фотографии можно увеличивать или уменьшать без разрывов изображения.
Процессор 204 для обработки изображений может также включать в себя модуль 218 символики и модуль 220 управления слежением. Модуль 218 символики может присвоить или связать заданные символы для представления или идентификации различных ориентиров или признаков в реальной среде 208 в комплексной имитационной модели. Модуль 220 управления слежением может отслеживать перемещение летательного аппарата 202 в реальной среде 208 для отслеживания перемещения представления 221 летательного аппарата 202 при моделировании 222.
С процессором 204 для обработки изображений может быть связан модуль 224 моделирования среды, способствующий формированию комплексной имитационной модели 206 реальной среды для представления на устройстве 225 отображения. Модуль 224 моделирования среды может включать в себя географическую базу данных 226, базу данных 228 угроз и целей, базу данных изображений 230 и погодную базу данных 231 или модуль для более точного моделирования погодных условий при моделировании 222 на основе данных, поступающих в режиме реального времени от реальной среды.
Географическая база данных 226 может хранить имеющиеся географические данные, относящиеся к реальной среде 208. Географические данные могут быть получены из геодезических съемок, фотографий, карт горизонталей или других источников, аналогичных вышеописанным. База данных 228 угроз и целей может хранить любые имеющиеся данные, относящиеся к потенциальным угрозам и опасностям для реального летательного аппарата 202 в реальной среде, для представления в комплексной имитационной модели 206. База данных 228 угроз и целей может также хранить любые имеющиеся данные, относящиеся к целям и интересующим точкам в реальной среде 208, для представления в рамках комплексной имитационной модели 206. База данных 230 изображений может хранить любые имеющиеся данные, соответствующие любым изображениям, относящимся к реальной среде 208. Как сказано выше, изображения могут быть получены спутником 212, реальным летательным аппаратом и другими устройствами.
Угрозы и цели могут быть динамичными. Иными словами, они могут быть склонны изменять с течением времени свой характер и местоположение. В зависимости от своей природы характерный промежуток времени может составлять дни, часы, минуты или секунды. Кроме того, географическая база данных 226 (или база данных рельефа) и база данных 230 изображений, на которой основано моделирование, может оказаться устаревшей на недели, месяцы или годы. Соответственно, может быть полезным обновление моделирования 222 при помощи данных, поступающих в режиме реального времени, или, по меньшей мере, при помощи большего количества текущих данных. Обновление данных может помочь избежать новых препятствий или новых угроз. В случае беспилотных аппаратов оператора и управляемый аппарат или устройство может разделять большое расстояние, что ведет к неустранимому запаздыванию в цепи системы управления. Обновление данных о среде может повысить способность оператора отвечать на динамические изменения, такие как перемещение угроз и целей, в реальной среде 208.
Данные, поступающие в режиме реального времени, или текущие данные могут быть получены из множества источников и могут быть представлены оператором 234 множеством способов, но их требуется представлять комплексно, легко понимаемым способом вместе с другими данными, такими как имеющиеся данные. В соответствии с одним вариантом выполнения настоящего изобретения изображения, поступающие в режиме реального времени, могут быть наложены на данные трехмерного рельефа или трехмерные географические данные, хранящиеся в географической базе данных 226. Эта функция может быть выполнена в модуле 216 управления наложением или управляться им. Аналогично тому, как описано выше, изображения, поступающие в режиме реального времени, могут поступать от одного или нескольких спутников, разведывательных самолетов или с наземных камер и датчиков. В альтернативном варианте или в дополнение к этому изображения могут поступать от реального летательного аппарата 202. Эти изображения могут отображаться на модель рельефа описанным выше образом и быть представлены при моделировании с требуемой точки зрения, такой как точка зрения 236.
В соответствии с другим вариантом выполнения настоящего изобретения, трехмерная модель рельефа может быть создана при помощи изображений, преобразующих рельеф в процессе моделирования на лету. Модель рельефа может быть создана при помощи прикладной программы трехмерного моделирования рельефа, такой как Photosynth, которая описана выше, или другой программного пакета моделирования рельефа. Рельеф может подвергаться преобразованию в результате процесса, аналогичного описанному выше процессу Google Earth. Фотоаппараты для получения трехмерной модели рельефа могут быть расположены на одном или нескольких спутниках, разведывательных самолетах или на наземных пунктах. В альтернативном варианте или в дополнение к этому, фотоаппарат может быть установлен на реальном летательном аппарате 202 с использованием его движения для обеспечения множества точек съемки, необходимых для вычисления трехмерной имитационной модели. Формирование трехмерной модели рельефа в режиме реального времени обладает преимуществом, заключающимся в идентификации любых новых искусственных структур.
Другое преимущество создания трехмерных моделей рельефа в режиме реального времени состоит в том, что в некоторых случаях геометрия рельефа может быть заранее совершенно неизвестна. Примером этого может служить управление с Земли необитаемым самоходным аппаратом на планете со скалистой и сложной поверхностью, такой как Марс. В этом случае описанные выше способы для создания трехмерных моделей можно использовать для создания модели области вокруг самоходного аппарата, Эти модели можно затем использовать в моделируемой работе, как описано в настоящем документе, а сценарий, полученный в результате моделирования, можно использовать для управления реальным самоходным аппаратом. Преимущество такого подхода заключается в устранении чрезвычайно длинной цепи управления, создаваемой благодаря ограниченной скорости света при большом расстоянии между Землей и Марсом или другим небесным телом.
В соответствии с другим вариантом выполнения настоящего изобретения угрозы, цели и другие элементы можно усилить или иным образом выделить или идентифицировать, чтобы оператору 234 было легче их распознавать. Выделение можно осуществить при помощи цвета, яркости или графических символов. Они могут быть представлены оператору 234 или, возможно, вспомогательному оператору (блок 236) на устройстве отображения, как описано в настоящем документе. Некоторые из этих элементов могут быть идентифицированы вспомогательным оператором, который может осуществлять управление или изменение устройства 225 отображения основного оператора.
Как указано выше, модуль 224 моделирования среды включает в себя погодную базу данных 231 или модуль для более точного моделирования текущих реальных погодных или атмосферных условий в реальной среде 208. Для текущих погодных условий в реальной среде 208 можно оценить скорость и направление ветра посредством сравнения измеренной скорости воздушного потока и курса самолета с путевой скоростью и маршрутом самолета. Скорость воздушного потока и курс можно определить, соответственно, по датчику скорости воздушного потока самолета и его компасу. Путевую скорость можно измерить при помощи GPS или инерциальных систем, аналогичных вышеописанным. Эту информацию можно затем отправить от самолета 202 к приемопередатчику 210 для включения ее в моделирование 206, осуществляемое системой 200.
Текущие (полученные в режиме реального времени) уровни турбулентности можно измерить при помощи акселерометров или других датчиков, которые измеряют линейные и угловые ускорения по всем трем осям. Эти значения можно использовать для установления параметров имитационной модели турбулентности таким образом, чтобы смоделированный самолет испытывал ускорения той же величины и характера, что и реальный самолет 202. Погодный модуль 231 может обрабатывать уровни турбулентности, полученные в режиме реального времени, для того, чтобы по существу смоделировать эффекты турбулентности при моделировании 222. Акселерометры и другие датчики могут быть связаны с реальным самолетом 202 или другим воздушным или наземным разведывательным движущимся аппаратом или с неподвижными местоположениями.
Система 200 может также включать в себя управляющий интерфейс 232, включающий в себя устройства управления для обеспечения управления работой модели со стороны оператора 234, в том числе представлением реального летательного аппарата 202 в комплексной имитационной модели 206 реальной среды 208. Управляющий интерфейс 232 может включать в себя устройства или средства управления для управления траекторией полета представления летательного аппарата в комплексной имитационной модели 206; скоростью моделирования и (или) скоростью представления 221 летательного аппарата; временем задержки для моделирования 222; системами устройств или системами летательного аппарата; и характеристиками моделирования летательного аппарата 202. Как описано выше, управление моделированием 222 может осуществляться с опережением на заданный промежуток времени относительно летательного аппарата 202 в реальной среде 208. Иными словами, реальное управление летательным аппаратом 202 может быть задержано во времени на заданный промежуток времени для обеспечения моделирования критических участков полета с пониженной скоростью для более точного маневрирования и принятия решения или для обеспечения повторного выполнения избранных операций или функций. Соответственно, управление моделированием 222 может в действительности осуществляться с опережением управления летательным аппаратом 202 в реальной рабочей среде 208, что показано самолетом-призраком 235 на фиг.2. Самолет-призрак 235 характеризует временные рамки представления устройства при моделировании 222 относительно реального летательного аппарата 202 в реальной среде 208.
Управляющий интерфейс 232 оператора может также управлять точкой зрения 236, с которой осуществляется наблюдение моделирования. Примеры различных точек зрения 236 могут включать в себя точку зрения изнутри представления летательного аппарата при моделировании 222, точку зрения снаружи представления 221 летательного аппарата, аналогичную точке зрения 236 на фиг.2, и точку зрения, включающую в себя представление 221 летательного аппарата и приборы, связанные с летательным аппаратом 202. Примером последней точки зрения может быть моделирование кабины летательного аппарата 202, включающей в себя приборы, которые видны летчику, находящемуся внутри летательного аппарата.
Система 200 может также включать в себя модуль 238 моделирования летательного аппарата или устройства для управления эксплуатационными характеристиками представления 221 летательного аппарата при моделировании 22 и для компенсации каких-либо эксплуатационных ограничений, накладываемых на летательный аппарат в реальной среде 208. Как указывалось выше, моделирование можно существенно улучшить, если включить в моделирование данные, поступающие в режиме реального времени, или обновленные данные. Соответственно, модель 238 моделирования летательного аппарата может принимать данные, поступающие в режиме реального времени, или обновленные данные через приемопередатчик 210, связанные с работой реального летательного аппарата 202, для включения их в моделирование 222. Реальные характеристики летательного аппарат 202 можно определить в процессе полета и передать их для моделирования, так что ключевые параметры моделирования 222 можно оперативно корректировать. Применяя такие приемы, как выявление параметров, известные и используемые при летных испытаниях, можно оценить в полете характеристики самолета 202, относящиеся к тяге и сопротивлению. Результаты этих измерений могут быть переданы моделированию 222 для корректировки ключевых параметров летательного аппарата. Могут также представлять интерес для пилота или оператора 234 моделирования и другие характеристики самолета. Эти характеристики могут включать в себя состояние системы, в том числе такие параметры, как температура двигателя, число оборотов в минуту (об/мин), системные предупреждения (утечка, пожар и т.д.), уровень топлива, напряжение и ток, связанные с выбранными системами, гидравлическое давление и другие параметры, представляющие интерес.
Как сказано выше, работа представления 221 летательного аппарата при моделировании 222 может осуществляться с улучшенными или измененными характеристиками по сравнению с реальным летательным аппаратом 202 для более эффективного выполнения некоторых операций. Улучшенную или измененную операцию можно затем компенсировать на основе полетных или эксплуатационных ограничений реального летательного аппарата 202.
Система 200 может дополнительно включать в себя процессор 200 для систем и управления полетом или устройством. В процессоре 240 для систем и управления полетом может размещаться генератор 242 управляющего сценария для генерации управляющего сценария на основе моделирования для управления летательным аппаратом 202 в реальной среде 208 аналогично тому, как описано выше.
Может быть предусмотрен буфер для буферизации управляющего сценария до его передачи на летательный аппарат 202. Поскольку моделирование 222 может выполняться перед выполнением летательным аппаратом 202 реального задания или операции и управляющий сценарий может буферизироваться для передачи управляющего сценария от приемопередатчика 210 к летательному аппарату 202 в пределах соответствующего временного интервала, запаздывание в системе 200 может быть существенно уменьшено или устранено, равно как и ошибки оператора. Система 200 может также включать в себя модуль 246 вспомогательных операций для способствования при принятии решения и управлении работой в моделировании 222 аналогично тому, как описано выше.
Как описано выше, управляющий сценарий может быть сгенерирован на основе моделирования 222, и управляющий сценарий может использоваться для управления работой или полетом летательного аппарата 202. Управляющий сценарий может определять пространственные координаты и угловые значения в зависимости от времени для определения местоположения и траектории полета для летательного аппарата 202. Время можно разбить на мелкие приращения, например, по 1/10 секунды, и для каждого приращения могут быть заданы пространственные координаты и угловые значения. (Заметим, что некоторые значения могут предоставляться (или обновляться) чаще, чем другие.) Поток данных может представлять собой определенную последовательность, такую как время 1, X, Y, Z, угол 1, угол 2, угол 3; время 2, X, Y, Z, угол 1, угол 2, угол 3; время 3 и т.д.
Что касается координат и углов, то время может быть задано различными способами. Вообще говоря, единицами времени могут быть секунды (где минуты, часы, дни и т.д. являются разновидностями секунд). Время может быть задано в виде промежутка после произвольного момента. Например, можно сказать, что время равно 32,5 секунды после начала (когда время произвольно устанавливается в нуль). В альтернативном варианте существует международный стандарт времени, известный под названием "всемирное время" (ВВ), в котором время течет непрерывно с постоянной скоростью и задается в виде даты, часа, минут и секунд. Всемирное время представляет собой международное соглашение и одинаково во всем мире. Так, если взять вышеприведенный пример 32,5 секунды после начала события, то его можно записать в виде, например, 14 марта 16:08:45,312 (часы, минуты и секунды).
В целом моделирование можно выполнять в произвольное время с привязкой к всемирному времени. Однако моделирование можно осуществлять в ВВ, так чтобы моделирование записывало фактическое ВВ в управляющем сценарии. В альтернативном варианте моделирование может происходить в моделированном ВВ, так чтобы моделирование происходило в будущем (когда моделированное ВВ относится ко времени после проведения моделирования) или в прошлом (когда моделированное ВВ относится ко времени до проведения моделирования).
Если в управляющем сценарии моделирование записано в реальном ВВ, то невозможно с точностью воспроизвести это моделирование с точки зрения времени, поскольку истинное ВВ прошло еще до того, как сценарий мог быть воспроизведен. Так же проблема возникает для моделирований, которые происходят в прошлом.
Однако для моделирований, записанных в ВВ, относящемуся к будущему, это не так. Например, можно записать моделирование во вторник с указанием ВВ, относящегося к тому же времени следующего дня (среды). Моделирование можно воспроизвести в реальном полете в среду с истинным ВВ. В этом случае имеется ровно один день для подготовки сценария и реального самолета. Можно сказать, что задержка между моделированием и реальной работой составляет ровно один день.
Задержка между моделированием и реальным полетом может быть любой положительной величиной (положительная величина означает, что реальный полет происходит после моделирования). Минимальная величина ограничена техническими соображениями, которые определяют, сколько времени требуется для подготовки, передачи и обработки сценария. Максимальное значение может быть неограниченным. Может оказаться, что задержка времени между моделированием и реальным полетом меньше продолжительности полета. Это означает, что воспроизведение моделирования в реальном полете начинается до окончания моделирования. При минимальном значении задержки смоделированный сценарий управляет самолетом непосредственно после моделирования. Это может называться почти "реальным временем" и может восприниматься пилотом или оператором как непосредственное управление самолетом, если суммарная задержка невелика. При таком управлении моделирование быстро создает управляющий сценарий описанным выше образом. Сценарий немедленно передается на летательный аппарат 202. Летательный аппарат 202 обрабатывает сценарий, сравнивает заданные координаты и углы с измеренными координатами и углами и осуществляет управляющие воздействия для минимизации любых отклонений.
В альтернативном варианте может иметься причина для увеличения задержки между моделированием и реальным полетом. В этом случае моделирование создает описанный выше сценарий точно так же, как и в случае минимальной задержки. Однако в этом случае сценарий сохраняется по порядку в каком-либо буфере, таком как буфер 244. Буфер 244 может быть, например, чипом памяти, дисковым накопителем или магнитной лентой. Этот поток данных можно затем воспроизвести по порядку и передать на летательный аппарат 202 после требуемого времени задержки.
Буфер 244 позволяет повторно выполнить часть сценария при условии, что моделирование в достаточной степени опережает реальный полет или работу. Например, моделирование может управлять работой летательного аппарата 202 с некоторым временем задержки. Предположим для примера, что задержка равна 100 секундам. В этом случае буфер 244 "считывается" спустя 100 секунд после "записи" посредством ввода сценария моделирования. Может оказаться, что пилот или оператор 234 моделирующего устройства быстро распознает ошибку, которую он хотел бы "отменить". Он может выполнить опцию "переделать" нажатием кнопки или другим способом. Это действие мгновенно вернет моделирование к заданному или выбранному приращению времени, например, к 20 секундам. Кроме того, это действие незамедлительно начнет переписывать прежние 20 секунд данных в буфере 244 и изменять задержку буфера на 80 секунд. Результатом этого является исключение 20 секунд ошибочного ввода; замена ошибочного ввода "переделанным" вводом и уменьшение задержки до 80 секунд.
Как сказано выше, система 200 может выполнять вычисления, связанные с моделированием 222, согласно приращению времени. Могут быть заданы начальные условия, в том числе координаты, углы, тяга, положения на управляющей поверхности, скорость и направление воздушного потока. Из этих условий устройство моделирования или система 200 могут вычислить линейные и угловые ускорения устройства и самолета. Эти значения можно использовать для вычисления нового набора условий на основе приращения времени и для отображения положения представления 221 самолета в моделировании 222. Система 200 обычно выполняет расчеты и отображает летательный аппарат 202 в новом положении так, чтобы приращение времени, используемое при вычислениях, имело бы ту же продолжительность, что и фактическое время, требуемое для выполнения вычислений. Таким образом, моделирование 222 возможно практически с истинной скоростью - ни в замедленном, ни в ускоренном темпе. Компьютер или процессор может выполнять вычисление за значительно меньшее время, чем заданное приращение времени. В этом случае можно использовать по меньшей мере два способа для поддержания истинной скорости. Между каждым циклом вычислений в программу можно выполнять "паузу", чтобы моделирование оставалось синхронизированным с истинным временем. Или же можно уменьшить приращение времени, используемое в вычислениях, чтобы время вычисления, требуемое компьютеру, равнялось приращению времени. В целом желательно, чтобы этапов вычисления было больше, поскольку при этом обеспечивается несколько более высокая точность расчетов моделируемых физических процессов (в идеальном случае приращение времени должно быть исчезающее мало). Кроме того, если приращение времени слишком велико, отображение моделирования может стать "дергающимся", поскольку низкая частота кадров вместо создания плавного кинематографического изображения приводит к тому, что становятся заметными отдельные кадры, что отвлекает внимание. Представление моделирования в истинном времени обычно предпочтительно, но бывают случаи, когда может быть желательно ускорить или замедлить моделирование относительно истинного времени.
Моделирование 222 можно замедлить по меньшей мере двумя средствами, аналогичными тем, что вкратце описаны выше. Во-первых, между каждым циклом вычисления можно вставлять паузу переменной продолжительности. Продолжительность паузы можно использовать для управления скоростью моделирования 222, причем более долгая пауза дает более медленное моделирование относительно истинного времени. Этот способ, если зайти слишком далеко, может привести к моделированию, которое перестает быть плавным - как отмечено выше, реальные кадры могут стать видимыми, а движение потерять плавность. Второй способ заключается в уменьшении приращения времени, при котором проводятся вычисления моделирования. Это также уменьшит скорость моделирования 222. Эти два способа можно также сочетать.
Моделирование 222 можно также ускорить. Если между циклами вычисления используется пауза, эту паузу можно уменьшить. Или же можно увеличить приращение времени, используемое в цикле вычисления. Этот способ ведет к увеличению обычно небольших ошибок вычисления, которые возникают вследствие конечной продолжительности приращения времени. В предельном случае этот способ может давать неточное моделирование.
Хотя моделирование может выполняться со скоростью, отличной от истинной, сценарий, полученный в результате моделирования, может по-прежнему выдавать координаты, углы и т.д. на основе истинного времени. Однако это оказывает влияние на состояние буфера. Если моделирование 222 выполняется со скоростью выше истинной, то в буфер 244 будет записываться больше данных, чем из него считывается, поскольку считывание из буфера осуществляется с истинной скоростью. Это означает, что задержка времени возрастает. Если моделирование 222 выполняется со скоростью меньшей истинной, то в буфер 244 записывается меньше данных, чем считывается из него. Это означает, что задержка времени уменьшается.
Возможность ускорять моделирование 222 может быть желательной по многим причинам. Например, одна причина может заключаться в обеспечении быстрого программирования полета в контексте, при котором требуется относительно немного управляющих воздействий и при котором эти воздействия не должны быть особенно точными. Таким образом, пилот или оператор 234 моделирования может быстро выполнить моделирование полета, которые в реальном времени (и при выполнении) заняли бы больше времени. Заметим, что даже если реальный полет начинается вскоре после моделирования, в конце полета задержка времени будет большой, поскольку оператор 234 закончит моделирование 222 задолго до того, как самолет 202 закончит полет. Это подразумевает большой объем буфера.
Другая причина для ускорения моделирования 222 может заключаться в установлении требуемой задержки буфера или задержки времени после переделывания описанным выше образом.
Возможность замедлять моделирование 222 также может быть желательной. Например, одной причиной для замедленного моделирования может быть предоставление оператору возможности для выполнения особенно тщательно взвешенных управляющих воздействий для сложных маневров. Или моделирование 22 можно замедлить, чтобы дать возможность оператору 234 без спешки рассмотреть несколько вариантов или элементов задания. Замедление уменьшает буферную задержку, так что продолжительность моделирования в замедленном темпе ограничена первоначальной задержкой. Если задержка уже минимизирована, замедление невозможно. Сценарий должен всегда опережать реальный полет.
На летательный аппарат 202 должен поступать сценарий в виде непрерывного потока данных. Не следует делать длительные пропуски, поскольку система управления самолетом зависит от частого обновления задаваемого местоположения. По этой причине переделывание моделирования, когда моделирование возвращается по времени назад, должно синхронизировать переделанный сценарий с прежним сценарием, так чтобы не образовалось разрывов во временной последовательности или в задании местоположения. Заметим, что из этого следует, что моделирование 222 не может перескакивать по времени вперед. При этом возникнет разрыв во времени и в приращении местоположения, что по сути оставит самолет 202 без команд. Кроме того, это означает, что восстановление значения буферной задержки после переделывания должно осуществляться посредством увеличения скорости моделирования, а не простым перескакиванием вперед по времени. Заметим, что изменение скорости моделирования может изменяться скачкообразно, то есть скорость моделирования необязательно должна изменяться плавно.
При реальном полете летчик для изменения положения органов управления опирается на реакцию самолета. Многие пилотируемые самолеты обеспечивают прямую связь между органами управления и плоскостями управления полетом, так чтобы плоскости управления немедленно реагировали на управляющее воздействие. Кроме того, большинство самолетов реагируют на отклонение плоскости управления немедленно и предсказуемым образом. Задержка времени между управляющим воздействием и реакцией самолета может сбить летчика с толку. Задержки часто приводят к "раскачке самолета летчиком" (РСЛ) или к тому, что в настоящее время чаще называется "раскачка в системе "пилот-самолет". При такой раскачке летчик задает определенные отклонения органов управления. Ничего не происходит, поэтому он отклоняет органы управления еще больше. Затем возникает слишком сильная реакция, поэтому летчик отклоняет органы управления в противоположную сторону. В общем, летчик и самолет преследуют друг друга, и самолет раскачивается. Это очень нежелательное явление. Такие задержки являются проблемой для недавно появившихся самолетов, в которых используются компьютеры управления полетом, служащих посредниками между органами управления летчика и плоскостями управления полетом. В некоторые из этих систем введена задержка времени, достаточная для того, чтобы в некоторых ситуациях вызвать РСЛ. Оказывается, задержки времени являются более критичными при высокоточных маневрах, и именно эти маневры в наименьшей степени могут позволить себе раскачку.
Исследования показали, что РСЛ можно избежать в самолетах с компьютером-посредником и в беспилотных самолетах, если задержка между управляющим воздействием и воспринимаемой реакцией составляет менее примерно 0,100 секунды.
Полет в некоторых беспилотных системах может управляться из удаленных мест с многочисленными компьютерными системами-посредниками в цепи управления. Это может привести к неприемлемо длительным задержкам управления. Фактически это ограничивает управляющее воздействие оператора беспилотных систем общими указаниями. Иными словами, самолет летит сам по себе в значительной степени автономно.
Варианты выполнения настоящего изобретения, описанные в отношении записи сценария, созданного на основании моделирования, сокращают запаздывание, воспринимаемое пилотом или оператором моделирования. Система 200 также позволяет оператору управлять полетом беспилотной системы гораздо более непосредственным образом, так что самому самолету не требуется столько высокая степень автономности. Это может облегчить выполнение более сложных и динамичных заданий. "Динамичный" в данном контексте означает задание с множеством неопределенных факторов или с множеством факторов, быстро изменяющихся во времени и пространстве.
В соответствии с другим вариантом выполнения настоящего изобретения оператор или система управления может располагаться в пределах системы в целом. Есть системы, заводы и транспортные средства или тому подобное, где это может быть предпочтительным. В качестве одного примера можно привести систему очень большого транспортного средства, такого как корабль или другая система. У кораблей обычно весьма большое время реагирования, и непоправимую ошибку можно совершить за несколько минут до того, как будут осознаны последствия, и еще за несколько минут до того, как может произойти нежелательное событие. Управление таким кораблем в режиме моделирования при таком большом запаздывании может обеспечить выявление последствий до того, как действие действительно выполнено или началось выполнение. При таком сценарии может быть реализована возможность переделывания, предусмотренная настоящим изобретением.
Схемы последовательности действий и блок-схемы на чертежах иллюстрируют архитектуру, функциональные возможности и работу возможных вариантов выполнения систем, способов и компьютерных программных продуктов согласно различным вариантам выполнения настоящего изобретения. В связи с этим каждый блок на схеме последовательности действий или на блок-схемах может представлять модуль, сегмент или часть кода, которые содержат одну или несколько исполняемых команд для реализации заданных логических функций. Следует также заметить, что в некоторых альтернативных вариантах реализации функции, указанные в блоке, могут выполняться в порядке, отличном от приведенного на чертеже. Например, два блока, приведенные последовательно, могут на самом деле выполняться по существу одновременно, или блоки могут иногда выполняться в обратном порядке в зависимости от задействованных функциональных возможностей. Следует также заметить, что каждый блок на блок-схемах и (или) схеме последовательности операций, а также комбинации блоков на блок-схемах и (или) схеме последовательности операций могут быть реализованы аппаратными системами специального назначения, которые выполняют указанные функции или действия, или сочетанием аппаратных средств специального назначения и компьютерных команд.
Терминология, используемая в настоящем документе, предназначена только для описания конкретных вариантов выполнения, но не для ограничения настоящего изобретения. В настоящем документе формы единственного числа подразумевают также формы множественного числа, если контекст явным образом не указывает иное. Следует также иметь в виду, что термины "содержит" и (или) "содержащий", и "включает в себя" и (или) "включающий в себя" используются в настоящем описании для указания на наличие признаков, блоков, этапов, операций, элементов и (или) компонентов, но не исключают наличия или добавления одного или нескольких других признаков, блоков, этапов, операций, элементов, компонентов и (или) сочетаний вышеперечисленного.
Хотя в настоящем документе были приведены и описаны конкретные варианты выполнения, специалистам в данной области техники должно быть ясно, что любая схема, которая предназначена для достижения той же цели, может заменить конкретные приведенные варианты выполнения, и что изобретение имеет другие применения в других средах. Подразумевается, что это применение может охватить любое видоизменение настоящего изобретения. Нижеследующая формула ни в коем случае не предназначена для ограничения объема изобретения описанными здесь конкретными вариантами выполнения.
Способ и система управления транспортным средством, предусматривающие формирование комплексной имитационной модели реальной среды, в которой устройство работает или будет работать. Комплексная имитационная модель может быть сформирована с использованием имеющихся в памяти данных и данных, поступающих в режиме реального времени, относящихся к реальной среде. Система может также включать в себя представление моделирования, включающее в себя представление устройства, действующего в комплексной имитационной модели реальной среды, и обеспечивающее управление устройством в комплексной имитационной модели реальной среды. Система может дополнительно включать в себя управление работой устройства в реальной среде с использованием моделирования представления устройства в комплексной имитационной модели реальной среды. Способ позволяет прогнозировать изменение ситуации и управлять устройством с упреждением возникновения опасной ситуации, что повышает безопасность функционирования устройства и минимизирует возможные ошибки управления. 2 н. и 14 з.п. ф-лы, 2 ил.
1. Способ управления транспортным средством, предусматривающий
формирование имитационной модели реальной среды, в которой работает или будет работать устройство, причем имитационную модель формируют с использованием данных в режиме реального времени, которые относятся к реальной среде;
представление моделирования, включающее имитацию представления устройства, которое может работать в комплексной имитационной модели реальной среды;
обеспечение управления имитацией представления устройства в имитационной модели реальной среды; и
управление работой устройства в реальной среде с использованием моделирования представления устройства в имитационной модели реальной среды,
отличающийся тем, что способ предусматривает стадии
непрерывного генерирования управляющего сценария, при этом управляя работой моделирования представления устройства в имитационной модели в реальной среде; и передачи управляющего сценария устройству в реальной среде для управления работой устройства;
при этом имитационная модель представляет собой комплексную имитационную модель, сформированную с использованием предварительно существующих данных и данных в режиме реального времени, относящихся к реальным условиям, причем предварительно существующие данные содержат по меньшей мере одно из изображения реальной среды; очертания рельефа; прогнозов погоды; описаний и местоположений и описаний мест, представляющих интерес и местоположений и описаний, относящихся к имеющимся в среде угрозам и опасностям для устройства в реальной среде, при этом предварительно существующие данные получают от по меньшей мере одного из спутника, воздушной разведки, наземной разведки и датчиков.
2. Способ по п.1, дополнительно предусматривающий стадию обеспечения управления работой представления устройства для осуществления функции моделирования в комплексной имитационной модели реальной среды на заданный промежуток времени раньше, чем устройство в реальной среде выполняет реальную функцию, соответствующую смоделированной функции, выполненной ранее в комплексной имитационной модели.
3. Способ по п.2, дополнительно предусматривающий обеспечение регулирование заданного промежутка времени посредством ускорения и замедления моделирования представления устройства в комплексной имитационной модели реальной среды.
4. Способ по п.2, дополнительно предусматривающий обеспечение повторного выполнения выбранной части моделирования в ответ на достаточно большую продолжительность заданного промежутка времени, чтобы обеспечить выполнение заново выбранной части и передачу ее устройству в реальной среде до выполнения заново любых функций, соответствующих выбранной части моделирования, подлежащей повторному выполнению.
5. Способ по п.2, дополнительно предусматривающий
обеспечение замедления моделирования для предоставления дополнительного времени для регулирования и управления представлением устройства в рамках моделирования и принятия решения; и
обеспечивают ускорение моделирования для увеличения заданного промежутка времени.
6. Способ по п.1, дополнительно предусматривающий
обеспечение моделирования представления устройства в комплексной имитационной модели реальной среды с измененными характеристиками работы по сравнению с устройством в реальной среде; и
компенсацию эксплуатационных ограничений устройства в реальной среде.
7. Способ по п.1, позволяющий выбор точки обзора, с которой может рассматриваться и управляться моделирование представления устройства в комплексной имитационной модели реальной среды.
8. Способ по п.1, отличающийся тем, что устройство содержит одно из: воздушно-космического летательного аппарата, наземного транспортного средства, подводного аппарата и механизма.
9. Система для управления транспортным средством, содержащая
процессор для формирования имитационной модели реальной среды, в которой действует или будет действовать устройство, причем имитационная модель сформирована с использованием данных, поступающих в режиме реального времени, относящихся к реальной среде;
средство отображения (225) для представления моделирования, включающего в себя моделирование представления устройства, действующего в имитационной модели реальной среды;
управляющий интерфейс (232) для обеспечения управления моделированием представления устройства в имитационной модели реальной среды; и
приемопередатчик (210) для передачи управляющего сценария устройству в реальной среде для управления работой устройства в реальной среде с использованием моделирования представления устройства в имитационной модели, отличающаяся тем, что содержит процессор устройства и систем управления, настроенный так, чтобы непрерывно генерировать управляющий сценарий, при этом управляя работой моделирования представления устройства в имитационной модели в реальной среде;
при этом процессор настроен так, чтобы формировать имитационную модель с использованием предварительно существующих данных и данных в режиме реального времени, относящихся к реальным условиям, причем предварительно существующие данные содержат по меньшей мере одно из: изображения реальной среды; очертания рельефа; прогнозов погоды; описаний и местоположений и описаний мест, представляющих интерес, и местоположений и описаний, относящихся к имеющимся в среде угрозам и опасностям для устройства в реальной среде, при этом предварительно существующие данные получают от по меньшей мере одного из спутника, воздушной разведки, наземной разведки и датчика.
10. Система по п.9, дополнительно содержащая процессор для обработки изображения для генерирования изображения реальной среды с использованием предварительно существующих данных и данных, поступающих в режиме реального времени, относящихся к реальной среде.
11. Система по п.10, отличающаяся тем, что процессор (204) для обработки изображений содержит
модуль (214) геометрического преобразования для преобразования данных, относящихся к реальной среде, принятых по меньшей мере от одного из: управляемого устройства (202), спутника (212), неподвижного места в реальной среде (208) или других устройств для использования при формировании имитационной модели реальной среды;
модуль (216) управления наложением для надлежащего совмещения различных виртуальных моделей реальной среды, сгенерированных на основе имеющихся данных и данных, поступающих в режиме реального времени, относящихся к реальной среде, для формирования комплексной имитационной модели реальной среды;
модуль (218) символики для присваивания символов для представления различных ориентиров или признаков в реальной среде в комплексной имитационной модели; модуль (220) управления слежением для отслеживания любых перемещений устройства в реальной среде.
12. Система по п.10, дополнительно содержащая модуль (224) моделирования среды, связанный с процессором для обработки изображений, для формирования комплексной имитационной модели реальной среды для представления на средстве отображения.
13. Система по п.12, отличающаяся тем, что модуль (224) моделирования среды содержит
географическую базу данных (226) для хранения имеющихся географических данных, относящихся к реальной среде;
базу данных (228) угроз и целей для хранения имеющихся данных, относящихся к потенциальным угрозам для устройства в реальной среде, и для хранения имеющихся данных, относящихся к любой цели в реальной среде; базу данных (230) изображений для хранения имеющихся данных об изображениях, относящихся к реальной среде.
14. Система по п.9, отличающаяся тем, что управляющий интерфейс (232) содержит
орган управления для управления перемещением устройства;
орган управления для управления скоростью моделирования;
орган управления для управления заданной задержкой времени между моделированием и управлением устройством в реальной среде.
15. Система по п.9, дополнительно содержащая модуль (238) моделирования устройства для управления эксплуатационными характеристиками представления устройства в моделировании и для компенсации любых эксплуатационных ограничений устройства в реальной среде.
16. Система по п.9, дополнительно содержащая буфер (244) для буферизации управляющего сценария перед передачей устройству в реальной среде.
| US 5706195 А, 06.01.1998 | |||
| ЛЕТНО-МОДЕЛИРУЮЩИЙ КОМПЛЕКС ИССЛЕДОВАНИЯ ПОСАДОЧНЫХ СИСТЕМ ЛЕТАТЕЛЬНЫХ АППАРАТОВ КОРАБЕЛЬНОГО БАЗИРОВАНИЯ | 1991 |
|
RU2042583C1 |
| Приспособление для трогания с места повозок, получающих перемещение от двигателей внутреннего горения | 1929 |
|
SU23696A1 |
| СИСТЕМА ПРЕДУПРЕЖДЕНИЯ СТОЛКНОВЕНИЯ ЛЕТАТЕЛЬНЫХ АППАРАТОВ ПРИ ЛЕТНЫХ ИСПЫТАНИЯХ | 1996 |
|
RU2134911C1 |
| КОМПЛЕКСНАЯ СИСТЕМА ПОСАДКИ ЛЕТАТЕЛЬНЫХ АППАРАТОВ И СПОСОБ ЗАХОДА НА ПОСАДКУ | 2004 |
|
RU2273590C1 |
