Способ создания реального географического пространства и устройство для создания такого пространства Российский патент 2024 года по МПК H04N23/698 G06T19/00 

Область техники

Настоящее изобретение связано с технологиями слияния видеороликов и создания пространственных картин, в частности, касается способа создания реального географического пространства в реальном времени, основанного на технике панорамного видео, и устройства для создания такого пространства.

Уровень техники

Вместе с научно-техническим прогрессом и непрерывным развитием промышленности постоянно расширяются возможности человека в области освоения и пользования природными ресурсами, но вместе с этим неизбежно и появление производственных объектов, представляющих для нас повышенную опасность. Высокоопасные производственные объекты обычно бывают закрытыми или полузакрытыми с узкими входами и выходами, плохой естественной вентиляцией, большими скоплениями вредных, токсичных, легко возгорающихся и взрывчатых газов, радиоактивным излучением, недостатком кислорода и другими факторами, являющимися неблагоприятными для здоровья человека, такие как шахты, нефтяные скважины, водосточные колодцы, каналы с трубопроводами, химические заводы, АЭС и т.д.

Высокоопасные производственные объекты могут иметь место в самых разных отраслях и сферах жизнедеятельности, они отличаются неоднородностью рабочей среды, наличием множества опасных факторов, повышенным риском возникновения аварий с серьезными последствиями и большими трудностями при осуществлении мер по спасению рабочих в случае возникновения чрезвычайных обстоятельств. Более того, спасательные действия, совершаемые вслепую или ненадлежащим образом, могут приводить к еще более тяжким последствиям.

В настоящее время для контроля таких высокорискованных производственных объектов, как вышеописанные, применяются в основном системы раннего предупреждения, совмещающие технологии видеонаблюдения и показания различных датчиков. Такие системы способны в определенной степени предупреждать об опасностях, возникающих на объектах, но только частично и, чем больше дистанция, тем сильнее изменяются формы, так как в применяемых в таких системах средствах видеонаблюдения не проводятся геометрическая корректировка и слияние изображений. Отсюда и сложность с восстановлением реальной обстановки в реальном времени и невозможность для персонала точно оценивать текущую ситуацию на объектах. Одновременно с этим, из-за отсутствия средств визуализации реальных картин с генерированием трехмерных географических координат такие системы видеонаблюдения не позволяют точно анализировать и контролировать реальные процессы производства на рабочих площадках, не дают возможности своевременно принимать меры по устранению возникших на производственных объектах аварий, а следовательно, не могут отвечать условиям интеллектуальной автоматизации современного производства на объектах повышенной опасности.

Содержание изобретения

Для решения вышеперечисленных задач настоящим изобретением предлагается способ создания реального географического пространства в реальном времени, основанный на технике панорамного видео, и устройство для создания такого пространства в режиме реального времени.

В примере реализации настоящего изобретения представлен способ создания реального географического пространства в реальном времени, основанный на технике панорамного видео и следующих составляющих элементах:

графических данных, принимаемых высокопроизводительным вычислительным устройством от многочисленных панорамных видеокамер и объединяемых в последовательности графических данных, причем упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки;

трехмерных географических координатах каждой панорамной видеокамеры, принимаемых упомянутым высокопроизводительным вычислительным устройством и направляемых измерительными роботами посредством оптических призм, установленных на каждой панорамной видеокамере;

параметрах внешнего ориентирования, получаемых упомянутым высокопроизводительным вычислительным устройством от датчиков пространственного положения, причем такие датчики пространственного положения установлены на каждой упомянутой панорамной камере и предназначены для определения в режиме реального времени азимута, углов тангажа и крена панорамных видеокамер, на которых они установлены, а также для предоставления данных по параметрам внешнего ориентирования, что необходимо для дальнейшей геометрической корректировки, слияния и оптимизации ортографический проекций панорамных изображений;

фоновых звуках, принимаемых упомянутым высокопроизводительным вычислительным устройством, причем упомянутые фоновые звуки собираются и отправляются многочисленными аппаратами для сбора аудиоданных, установленными внутри реального географического пространства;

последовательностях ортографических проекций или панорамных изображений, получаемых упомянутым высокопроизводительным вычислительным устройством путем слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений;

видеопотоках изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем такие видеопотоки создаются упомянутым высокопроизводительным вычислительным устройством путем оптимизации последовательностей ортографических проекций или панорамных изображений, объединенных с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами, с помощью дополненной реальности;

дистанционных управляющих командах, высылаемых оператором посредством аппаратуры для управления выводом, в которую упомянутым высокопроизводительным вычислительным устройством отправлены упомянутые видеопотоки изображений реального географического пространства и в которой в режиме реального времени отображается упомянутое реальное географическое пространство, причем посредством упомянутых дистанционных управляющих команд осуществляется дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Дополнительной возможностью является то, что упомянутые отметочные точки включают в себя: первичные и вторичные отметочные точки; упомянутые панорамные видеокамеры путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки, включающие в себя:

первичные отметочные точки, заданные в дублированных зонах обзора упомянутых панорамных видеокамер, неподвижно и равномерно распределенных в реальном географическом пространстве, если они установлены путем стационарного монтажа, причем интервал установки определяется самими же камерами в зависимости от точности собираемых ими изображений, зоны покрытия каждой панорамной видеокамеры должны отвечать условиям использования реальных картин, а степень совпадения смежных изображений должна превышать некоторую пороговую величину;

вторичные отметочные точки, заданные в упомянутом реальном географическом пространстве с учетом возможности работы в режиме реального времени и скорости перемещения упомянутых панорамных видеокамер, если они установлены способом контактной сварки и в связи с чем установлены на направляющих устройствах, разделяющихся на несколько отдельных отрезков, причем на каждом из упомянутых отдельно взятых отрезков установлена по меньшей мере одна панорамная видеокамера, которую он способен самостоятельно приводить в движение;

на обоих концах каждого отдельно взятого отрезка имеются противоударные кольца, предотвращающие сход с рельсов по меньшей мере одной панорамной видеокамеры, установленной на каждом отдельно взятом отрезке, во время ее перемещения, причем скорость съемки каждой панорамной видеокамерой соответствует скорости ее передвижения, благодаря чему обеспечивается высокая степень дублирования в упомянутых последовательностях графических данных и возможность их слияния в больших масштабах, а также возможность слияния и интеграции изображений в режиме реального времени во время реконструкции реального географического пространства.

Дополнительной возможностью является то, что упомянутое высокопроизводительное вычислительное устройство принимает от многочисленных панорамных видеокамер графические данные и объединяет их в последовательности графических данных, причем:

способы сбора упомянутых графических данных отличаются в зависимости от способов установки упомянутых панорамных видеокамер;

если панорамные видеокамеры установлены способом стационарного монтажа, то упомянутым высокопроизводительным вычислительным устройством в соответствии с потребностями в таргетных областях пересылаются упомянутые дистанционные управляющие команды, посредством которых осуществляется управление панорамными изображениями, собираемыми каждой панорамной видеокамерой в своих таргетных областях в реальном времени, их объединение в последовательности панорамных изображений в режиме реального времени;

если панорамные видеокамеры установлены способом контактной сварки, то упомянутым высокопроизводительным вычислительным устройством в соответствии с потребностями в упомянутых таргетных областях пересылаются упомянутые дистанционные управляющие команды и посредством упомянутых направляющих устройств осуществляется контроль способами перемещения упомянутых панорамных видеокамер, причем различаются следующие способы перемещение панорамных видеокамер: автономное перемещение отдельно взятой панорамной камеры или синхронное перемещение нескольких камер;

при управлении синхронным перемещением упомянутых панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство принимает от каждой упомянутой панорамной видеокамеры данные по динамическим изображениям, собираемым ими в упомянутых таргетных и нетаргетных областях, и объединяет их в последовательности динамических изображений;

при управлении автономным перемещением нескольких из упомянутых панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство принимает от каждой из упомянутых отдельно взятых панорамных видеокамер данные по динамическим изображениям, собираемым ими в упомянутых таргетных областях, а также принимает от оставшихся неподвижными панорамных видеокамер данные по статическим изображениям, собираемым ими в упомянутых нетаргетных областях, и объединяет их в последовательности динамических изображений;

Дополнительной возможностью является то, что упомянутый измерительный робот, получив трехмерные географические координаты упомянутых оптических призм, определяет трехмерные географические координаты каждой панорамной видеокамеры исходя из величины относительного увода упомянутых призм и центральной оси объектива той панорамной видеокамеры, в которой он находится;

причем упомянутые трехмерные географические координаты включают в себя: трехмерные географические координаты каждой панорамной видеокамеры во время ее перемещения в реальном времени и неизменные трехмерные географические координаты каждой панорамной видеокамеры во время нахождения в статическом состоянии, кроме того, упомянутые трехмерные географические координаты являются параметрами внешнего ориентирования, необходимыми для фотограмметрических измерений, и используются для геометрической корректировки, слияния, сшивания и оптимизации с помощью дополненной реальности в дальнейшем.

Дополнительной возможностью является то, что упомянутое высокопроизводительное вычислительное устройство принимает данные по параметрам внешнего ориентирования от датчиков пространственного положения, установленных в каждой из упомянутых панорамных видеокамер;

упомянутые датчики пространственного положения представляют собой высокопроизводительные системы определения изменяемого положения объектов в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений с помощью дополненной реальности в дальнейшем;

Дополнительной возможностью является то, что упомянутые аппараты для сбора аудиоданных с уникальными номерами рассредоточенно установлены в упомянутом реальном географическом пространстве и предназначены для сбора фоновых звуков во всех зонах покрытия таких аппаратов в упомянутом реальном географическом пространстве;

при отправке информации по фоновым звукам, собранной упомянутыми аппаратами для сбора аудиоданных, они отправляют и свои номера, по которым упомянутый оператор может посредством аппаратуры для управления выводом определять в дальнейшем точки отправки данных звуков.

Дополнительной возможностью является то, что упомянутым высокопроизводительным вычислительным устройством путем слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно:

при стационарном способе монтажа панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство получает упомянутые последовательности панорамных изображений в реальном времени и на основе таких последовательностей формирует фиксированные последовательности панорамных видео;

упомянутое высокопроизводительное вычислительное устройство исходя из фактических потребностей, используя информацию по упомянутым отметочным точкам, алгоритмы отбора признаков и компьютерного зрения, подвергает упомянутые фиксированные последовательности панорамных видео быстрому отбору и совмещению признаков;

упомянутое высокопроизводительное вычислительное устройство, совмещая фотограмметрию с данными по пространственному положению и местонахождению упомянутых панорамных видеокамер и упомянутыми параметрами внешнего ориентирования, а также используя технологии фотограмметрических измерений и компьютерного зрения подвергает фиксированные последовательности панорамных видео, уже прошедшие этап быстрого отбора и совмещения признаков, корректировке ортографических проекций и слиянию изображений с тем, чтобы получить упомянутые ортографические проекции панорамных изображений, диапазон которых шире, чем диапазон упомянутых панорамных изображений в реальном времени;

при монтаже панорамных видеокамер путем их контактной сварки упомянутое высокопроизводительное вычислительное устройство получает упомянутые последовательности динамических изображений и на основе таких последовательностей формирует контактные последовательности панорамных видео;

упомянутое высокопроизводительное вычислительное устройство, используя алгоритм отбора признаков и упомянутые отметочные точки, подвергает упомянутые контактные последовательности панорамных видео быстрому отбору и совмещению признаков;

упомянутое высокопроизводительное вычислительное устройство, совмещая фотограмметрию с упомянутыми параметрами внешнего ориентирования и основываясь на контактные последовательности панорамных видео, прошедшие этап быстрого отбора и совмещения признаков, подвергает изображения быстрому слиянию, сшиванию и корректировке искажений с тем, чтобы получить упомянутые последовательности панорамных изображений.

Дополнительной возможностью является то, что упомянутое высокопроизводительное вычислительное устройство подвергает объединенные последовательности ортографических проекций или панорамных изображений, упомянутые фоновые звуки и упомянутые трехмерные географические координаты оптимизации с помощью дополненной реальности с тем, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем:

упомянутое высокопроизводительное вычислительное устройство на основе упомянутых ортографических проекций панорамных изображений, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создает трехмерные картины, соответствующие упомянутому реальному географическому пространству;

упомянутое высокопроизводительное вычислительное устройство интегрирует упомянутые фоновые звуки в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

либо упомянутое высокопроизводительное вычислительное устройство на основе упомянутых последовательностях панорамных видео, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создает трехмерные картины, соответствующие упомянутому реальному географическому пространству;

упомянутое высокопроизводительное вычислительное устройство интегрирует упомянутые фоновые звуки в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

Дополнительной возможностью является то, что на обоих концах каждого отдельно взятого отрезка установлены осветительные приборы и устройства для автоматической очистки от порошковой пыли;

упомянутые осветительные приборы обеспечивают четкость видимости среды в зонах охвата упомянутых панорамных видеокамер;

упомянутые устройства для автоматической очистки от порошковой пыли обеспечивают беспрепятственность перемещения упомянутых панорамных видеокамер.

Дополнительной возможностью является то, что в каждой панорамной видеокамере имеется интерфейс дистанционного управления и объектив «рыбий глаз» или оптическое зеркало, либо объектив, созданный путем объединения нескольких обычных объективов, направленных в разные стороны;

упомянутый объектив «рыбий глаз» или оптическое зеркало, либо объектив, созданный путем объединения нескольких обычных объективов, направленных в разные стороны, обеспечивает для каждой из упомянутых панорамных видеокамер наличие панорамного поля обзора в 720° в поперечном и продольном направлениях и отсутствие слепых зон в центре;

упомянутый интерфейс дистанционного управления предназначен для приема дистанционных управляющих команд, позволяющих оператору дистанционно управлять панорамными видеокамерами через проводную или беспроводную сеть, которой может быть, помимо прочего, сеть 5G, а упомянутые дистанционные управляющие команды включают в себя: команды для регулировки пространственного положения панорамных видеокамер согласно требованиям съемок в упомянутых таргетных областях и команды, связанные с размерами снимаемых изображений.

Дополнительной возможностью является то, что упомянутая аппаратура для управления выводом включает в себя: умное мультимедийное устройство или гарнитуру виртуальной реальности (VR-гарнитуру);

упомянутая VR-гарнитура выполняет функции автоматического увеличения яркости изображений в зоне обзора упомянутого оператора и отображения атрибутов объектов в упомянутой зоне обзора и реальных географических координат на основе видеопотоков изображений в реальном географическом пространстве;

упомянутый оператор посредством упомянутого умного мультимедийного устройства или упомянутой VR-гарнитуры дистанционно и в режиме реального времени управляет всеми или частью панорамных видеокамер, осуществляет съемку в любой таргетной области и направляет в нее соответствующие параметры контроля.

Настоящим изобретением также предлагается устройство для создания реального географического пространства в реальном времени с применением техники панорамного видео, такое устройство применяется к высокопроизводительному вычислительному устройству, включающему в себя:

модуль приема графических данных, предназначенный для приема от многочисленных панорамных видеокамер графических данных и объединения их в последовательности графических данных, причем упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки;

модуль приема трехмерных географических координат, предназначенный для приема трехмерных географических координат каждой панорамной видеокамеры, направляемых измерительными роботами посредством оптических призм, установленных на каждой панорамной видеокамере;

модуль приема информации о пространственном положении панорамных видеокамер, предназначенный для приема данных по параметрам внешнего ориентирования от датчиков пространственного положения, установленных на каждой из упомянутых панорамных видеокамер; такие датчики представляют собой высокопроизводительные системы определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений в дальнейшем;

модуль приема аудиоданных, предназначенный для приема фоновых звуков, получаемых и отправляемых многочисленными аппаратами для сбора аудиоданных, установленными внутри реального географического пространства;

модуль слияния, предназначенный для слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, чтобы получить последовательности ортографических проекций или панорамных изображений, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений;

модуль оптимизации с помощью дополненной реальности, предназначенный для оптимизации интегрированных последовательностей ортографических проекций или панорамных изображений с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами средствами дополненной реальности, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

модуль отправки, предназначенный для отправки упомянутых видеопотоков изображений реального географического пространства в аппаратуру для управления выводом, которой отображается упомянутое реальное географическое пространство и посредством которой оператором отправляются упомянутые дистанционные управляющие команды, позволяющие осуществлять дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Дополнительной возможностью является то, что модуль приема графических данных предназначается для:

сбора упомянутых графических данных, причем способы сбора отличаются в зависимости от способов установки упомянутых панорамных видеокамер;

пересылки упомянутых дистанционных управляющих команд, посредством которых осуществляется управление панорамными изображениями, собираемыми каждой панорамной видеокамерой в своих таргетных областях в реальном времени, и их объединение в последовательности панорамных изображений в режиме реального времени в соответствии с потребностями в таргетных областях, если панорамные видеокамеры установлены способом стационарного монтажа, то;

пересылки упомянутых дистанционных управляющих команд и контроля способами перемещения упомянутых панорамных видеокамер посредством упомянутых направляющих устройств в соответствии с потребностями в упомянутых таргетных областях, если панорамные видеокамеры установлены способом контактной сварки, причем различаются следующие способы перемещения панорамных видеокамер: автономное перемещение отдельно взятой панорамной камеры или синхронное перемещение нескольких камер;

приема от каждой упомянутой панорамной видеокамеры данных по динамическим изображениям, собираемым ими в упомянутых таргетных и нетаргетных областях и объединяемым в последовательности динамических изображений, при управлении синхронным перемещением упомянутых панорамных видеокамер;

приема от каждой из упомянутых отдельно взятых панорамных видеокамер данных по динамическим изображениям, собираемым ими в упомянутых таргетных областях, и приема от оставшихся неподвижными панорамных видеокамер данных по статическим изображениям, собираемым ими в упомянутых нетаргетных областях, а также объединения данных в последовательности динамических изображений при управлении автономным перемещением нескольких из упомянутых панорамных видеокамер;

Дополнительной возможностью является то, что модуль слияния предназначается для:

получения упомянутых последовательностей панорамных изображений в реальном времени и формирования на основе таких последовательностей фиксированных последовательностей панорамных видео при стационарном способе монтажа панорамных видеокамер;

проведения быстрого отбора и совмещения признаков, которым подвергаются упомянутые фиксированные последовательности панорамных видео, исходя из фактических потребностей с использованием информации по упомянутым отметочным точкам, а также алгоритмов отбора признаков и компьютерного зрения;

корректировки ортографических проекций и слияния изображений, чему подвергаются фиксированные последовательности панорамных видео, уже прошедшие этап быстрого отбора и совмещения признаков, путем совмещения фотограмметрии с данными по пространственному положению и местонахождению упомянутых панорамных видеокамер и упомянутыми параметрами внешнего ориентирования, а также использования технологий фотограмметрических измерений и компьютерного зрения с тем, чтобы получить упомянутые ортографические проекции панорамных изображений, причем диапазон которых шире, чем диапазон упомянутых панорамных изображений в реальном времени;

получения упомянутых последовательностей динамических изображений и формирования на основе таких последовательностей контактных последовательностей панорамных видео при монтаже панорамных видеокамер путем их контактной сварки;

проведения быстрого отбора и совмещения признаков, которым подвергаются упомянутые контактные последовательности панорамных видео, с использованием алгоритма отбора признаков и упомянутых отметочных точек;

быстрого слияния, сшивания и корректировки искажений, чему подвергаются изображения, путем совмещения фотограмметрии с упомянутыми параметрами внешнего ориентирования и ориентирования на контактные последовательности панорамных видео, прошедшие этап быстрого отбора и совмещения признаков, с тем чтобы получить упомянутые последовательности панорамных изображений.

Дополнительной возможностью является то, что модуль оптимизации с помощью дополненной реальности предназначается для:

определения точного местоположения объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде на основе упомянутых ортографических проекций панорамных изображений, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования, а также с учетом связи с пространственной перспективой и создания трехмерных картин, соответствующих упомянутому реальному географическому пространству;

интеграции упомянутых фоновых звуков в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

либо определения точного местоположения объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде на основе упомянутых последовательностях панорамных видео, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования, а также с учетом связи с пространственной перспективой и создания трехмерных картин, соответствующих упомянутому реальному географическому пространству;

интеграции упомянутых фоновых звуков в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

Настоящим изобретением предложен способ создания реального географического пространства в реальном времени на основе техники панорамного видео, основывающийся на: графических данных, принимаемых от многочисленных панорамных видеокамер и объединяемых в последовательности графических данных; трехмерных географических координатах каждой панорамной видеокамеры, информации о пространственном положении и фоновых звуках, принимаемой от них; процессах слияния и сшивания, а также геометрической корректировки и корректировки искажений изображений в соответствии с графическими данными, трехмерными географическими координатами и пространственным положением; видеопотоках изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем такие видеопотоки создаются путем оптимизации последовательностей ортографических проекций или панорамных изображений, объединенных с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами, с помощью дополненной реальности; оптимальном реальном географическом пространстве, отображаемом аппаратурой для управления выводом, в которую отправлены видеопотоки изображений реального географического пространства и посредством которой оператор осуществляет дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Настоящим изобретением предлагается возможность создавать пространство при нахождении вдали от той или иной точки в текущем пространстве, которая обеспечивается за счет входящих и выходящих сигналов о видеоизображениях, звуковой частоте, реальных географических координатах и пространственном положении видеокамер с применением соответствующего аппаратного устройства и программных алгоритмов и благодаря которой у оператора появляется чувство «личной причастности», будто лично присутствует на месте. Таким образом оператор может иметь четкое представление и давать точную оценку ситуации, происходящей на территории производства, или возникшей аварии. На основе вышеизложенного непрерывно развиваются технологии дистанционного управления и коммуникации, которые позволяют человеку не только косвенно наблюдать за текущими рабочими действиями, но и в режиме реального времени контролировать производственными процессами, находясь в любом месте, а также переходить к полуавтоматизации (с малочисленным составом работников) или полной автоматизации производства (при отсутствии человека) на высокоопасных участках и повышать эффективность производственной деятельности в условиях обеспеченной безопасности труда для операторов дистанционного управления. Настоящим изобретением предложено эффективное решение задач, связанных с интеллектуализацией и автоматизацией производства в высокоопасных условиях и местах.

Пояснения к иллюстрациям

Детальное описание оптимального примера реализации изобретения позволит рядовым техническим работникам данной области иметь четкое представление о преимуществах и пользе настоящего изобретения, а иллюстрации служат лишь для ознакомления с целями выбранного примера реализации и не устанавливают ненужных ограничений в отношении самого изобретения. Кроме того, в прилагаемых иллюстрациях одинаковые детали обозначаются одним и тем же символом. Далее приводятся конкретные иллюстрации:

На фиг. 1 приведена схема способа создания реального географического пространства в реальном времени, основанного на технике панорамного видео и представленного в примере реализации настоящего изобретения;

На фиг. 2 приведена схема расстановки панорамных видеокамер, установленных способом контактной сварки и рассматриваемых в качестве примера для наглядного представления сути примера реализации настоящего изобретения;

На фиг. 3 представлен пример расположения панорамных видеокамер и соответствующих им отметочных точек на виде сверху, рассматриваемый в рамках примера реализации настоящего изобретения;

На фиг. 4 приведена схема организации связи по способу создания реального географического пространства в реальном времени, основанному на технике панорамного видео и представленному в примере реализации настоящего изобретения;

На фиг. 5 приведена структурная схема устройства для создания реального географического пространства в реальном времени на основе техники панорамного видео, представленного в примере реализации настоящего изобретения.

Конкретный способ реализации изобретения

В целях раскрытия сущности вышеперечисленных задач, особенностей и преимуществ настоящего изобретения далее дается их детальное описание в примере реализации изобретения с использованием иллюстраций в виде чертежей. Однако следует понимать, что приведенный ниже пример реализации изобретения является лишь средством представления его сути и охватывает лишь часть, а не всю сферу его применения.

На фиг. 1 приведена схема способа создания реального географического пространства в реальном времени, основанного на технике панорамного видео и представленного в примере реализации настоящего изобретения, и, если рассматривать на примере видеокамер, установленных способом контактной сварки, то данный способ включает в себя следующее:

Шаг 101: высокопроизводительное вычислительное устройство принимает от многочисленных панорамных видеокамер графические данные и объединяет их в последовательности графических данных, упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки.

Как показано в примере реализации настоящего изобретения, для воспроизведения реального географического пространства панорамные видеокамеры должны быть расставлены в соответствии с размером и местоположением такого пространства, а также с учетом ограниченных зон их охвата.

Как показано в примере реализации настоящего изобретения, для примера рассматриваются панорамные видеокамеры, установленные способом контактной сварки на направляющих устройствах, разделяющихся на несколько отдельных отрезков, причем на каждом из упомянутых отдельно взятых отрезков установлена по меньшей мере одна панорамная видеокамера, точное количество которых определяется исходя из фактических потребностей. Панорамные видеокамеры, имеющиеся на каждом отдельно взятом отрезке, способны быстро и в автономном режиме перемещаться. Направляющие устройства спроектированы с учетом необходимости обеспечения панорамных видеокамер возможностью свободного перемещения и могут иметь вид конструкций, выполненных контактной сваркой, или конструкций с рельсовыми направляющими и не только.

Например, как видно на фиг. 2, на котором приведена простая и наглядная схема расстановки панорамных видеокамер, установленных способом контактной сварки и рассматриваемых в качестве примера, направляющее устройство разделено на 3 отдельных отрезка с одной панорамной видеокамерой 201 на каждом. На каждой панорамной видеокамере установлена одна оптическая призма 202. Поскольку здесь такая конструкция приведена лишь для наглядности, измерение реальных географических координат в реальном географическом пространстве 20 проводится одним измерительным роботом 203, в то время на практике количество измерительных роботов 203 может быть определено исходя из масштаба реального географического пространства 20.

Следует отметить, что слияние и обработка изображения, ровно как и обработка различных данных, осуществляется высокопроизводительным вычислительным устройством, то есть высокопроизводительным вычислительным устройство принимаются и обрабатываются все данные, а полученные после обработки оптимальные видеопотоки с изображениями реального географического пространства отправляются в аппаратуру для управления выводом, от которой высокопроизводительное вычислительное устройство тем же временем получает дистанционные управляющие команды и перенаправляет их в соответствующие направляющие устройства или панорамные видеокамеры.

В целях обеспечения точности дальнейшего слияния изображений требуется задавать специальные отметочные точки. В качестве примера рассматривается способ установки 3 отметочных точек 204, представленных на фиг. 2. Если панорамные видеокамеры установлены способом контактной сварки, то по реальному географическому пространству равномерно распределяются вторичные отметочные точки 204 с интервалом, определяемым в зависимости от скорости перемещения видеокамер и требований к способностям работать в режиме реального времени. Вторичные отметочные точки 204 служат для слияния панорамных изображений, собранных одной передвигающейся панорамной видеокамерой в разные моменты времени или несколькими передвигающимися панорамными видеокамерами в один и тот же момент времени. В случаях, когда панорамные видеокамеры перемещаются со сравнительно большой скоростью или к способностям работать в реальном времени предъявляются высокие требования, интервал между вторичными отметочными точками 204 должен быть маленьким и, наоборот, когда панорамные видеокамеры перемещаются сравнительно медленно или к способностям работать в реальном времени предъявляются невысокие требования, интервал между вторичными отметочными точками 204 должен быть большим.

Если панорамные видеокамеры установлены стационарным способом и зоны их покрытия отвечают условиям применения реального географического пространства, то необходимо добиваться, чтобы степень совпадения смежных изображений превышала заданную пороговую величину, и устанавливать в дублированных зонах обзора каждой пары панорамных видеокамер первичные отметочные точки. Для лучшего понимания можно обратиться к фиг. 3, на котором видно, что между панорамными видеокамерами 301 и 302 имеется одна дублированная зона обзора 3012, между панорамными видеокамерами 302 и 303 также имеется одна дублированная зона обзора 3023 и так далее. Более подробно данный момент не будет рассматриваться. В дублированных зонах обзора 3012 и 3023 установлены две отметочные точки 30120 и 30230.

Кроме того, в случае контактной сварки видеокамер на обоих концах каждого отдельно взятого отрезка имеются противоударные кольца 205, предотвращающие сход с рельсов панорамной видеокамеры 201, установленной на каждом таком отрезке, во время ее перемещения, причем скорость съемки каждой панорамной видеокамерой 201 соответствует скорости ее передвижения, благодаря чему обеспечивается высокая степень дублирования в последовательностях графических данных и возможность их слияния в больших масштабах, а также возможность слияния и интеграции изображений в режиме реального времени во время реконструкции реального географического пространства.

Аналогично для видеокамер, установленных стационарным способом. Если панорамные видеокамеры установлены в реальном географическом пространстве стационарным способом, то они неподвижно и равномерно распределяются в данном пространстве с интервалом, определяемым в зависимости от точности собираемых ими изображений. С одной стороны, необходимо обеспечивать соответствие зоны покрытия каждой камеры условиям применения реального пространства, а с другой, необходимо добиваться, чтобы степень совпадения смежных изображений превышала заданную пороговую величину, и устанавливать в дублированных зонах обзора панорамных видеокамер множество отметочных точек. Стационарный способ установки может быть понят как специфический способ установки способом контактной сварки и имеет небольшие отличия от второго лишь в способах сбора и слияния графических данных, поэтому для примера можно рассматривать способ контактной сварки и более подробно это не будет обсуждаться.

Как показано в примере реализации настоящего изобретения, многочисленные панорамные видеокамеры управляются посредством дистанционных управляющих команд, генерируемых оператором с помощью аппаратуры для управления выводом и пересылаемых высокопроизводительным вычислительным устройством. Аналогично, поскольку перемещение панорамных видеокамер обеспечивается за счет направляющих устройств, способ передвижения направляющих устройств и определяет способ перемещения видеокамер, а скорость перемещения видеокамер равно скорости передвижения направляющих устройств. Способ и скорость передвижения направляющих устройств также контролируются посредством дистанционных управляющих команд, генерируемых оператором с помощью аппаратуры для управления выводом и пересылаемых высокопроизводительным вычислительным устройством. Различия заключаются в том, что на направляющих устройствах и панорамных видеокамерах установлены разного рода интерфейсы дистанционного управления. Дистанционные управляющие команды, получаемые направляющими устройствами, предназначаются для контроля способа и скорости передвижения данных устройств, а дистанционные управляющие команды, получаемые панорамными видеокамерам, предназначаются для регулировки пространственного положения самих камер и размеров снимаемых изображений в соответствии с потребностями съемок в таргетных областях.

В такой модели можно обеспечивать как автономное движение каждой отдельной панорамной видеокамеры, так и синхронное движение нескольких камер. Разумеется, можно понимать, что возможно и синхронное движение всех видеокамер. Выбор способа передвижения зависит от потребностей съемок в таргетных областях: при управлении синхронным перемещением панорамных видеокамер высокопроизводительное вычислительное устройство принимает от каждой панорамной видеокамеры данные по динамическим изображениям, собираемым ими в таргетных и нетаргетных областях; при управлении автономным перемещением нескольких из панорамных видеокамер высокопроизводительное вычислительное устройство принимает от каждой из отдельно взятых панорамных видеокамер данные по динамическим изображениям, собираемым ими в таргетных областях, а также принимает от оставшихся неподвижными панорамных видеокамер данные по статическим изображениям, собираемым ими в нетаргетных областях. Автономное перемещение каждой панорамной видеокамеры подходит для отслеживания единичных мишеней и контроля пространства в режиме реального времени в сравнительно малых таргетных областях, а синхронное движение нескольких или всех панорамных видеокамер подходит для создания комплексных реальных географических пространств с масштабными таргетными областями.

Помимо вышеизложенного, для обеспечения четкости видимости и беспрепятственности передвижения камер на двух концах каждого отдельно взятого отрезка установлены осветительные приборы и устройства для автоматической очистки от порошковой пыли; осветительные приборы создают достаточно света и обеспечивают четкость видимости среды в зонах охвата панорамных видеокамер; устройства для автоматической очистки от порошковой пыли работают автоматически и обеспечивают беспрепятственность перемещения панорамных видеокамер.

Ввиду того, что в настоящее время существует множество типов панорамных видеокамер, но не все они отвечают актуальным потребностям, на каждой панорамной камере имеется также, помимо интерфейса дистанционного управления, объектив «рыбий глаз» или оптическое зеркало (например, параболическое, гиперболическое зеркало и т.д.), либо объектив, созданный путем объединения нескольких направленных в разные стороны обычных объективов и обеспечивающий для каждой из панорамных видеокамер наличие панорамного поля обзора в 720° в поперечном и продольном направлениях и отсутствие слепых зон в центре, а также способствующий дальнейшему созданию трехмерных картин.

если панорамные видеокамеры установлены способом стационарного монтажа, то высокопроизводительным вычислительным устройством в соответствии с потребностями в таргетных областях пересылаются дистанционные управляющие команды, посредством которых осуществляется управление панорамными изображениями, собираемыми каждой панорамной видеокамерой в своих таргетных областях в реальном времени, их объединение в последовательности панорамных изображений в режиме реального времени;

если панорамные видеокамеры установлены способом контактной сварки, то высокопроизводительным вычислительным устройством в соответствии с потребностями в таргетных областях пересылаются дистанционные управляющие команды и посредством направляющего устройства осуществляется контроль способами перемещения панорамных видеокамер, причем различаются следующие способы перемещение панорамных видеокамер: автономное перемещение отдельно взятой панорамной камеры или синхронное перемещение нескольких камер;

при управлении синхронным перемещением панорамных видеокамер высокопроизводительное вычислительное устройство принимает от каждой панорамной видеокамеры данные по динамическим изображениям, собираемым ими в таргетных и нетаргетных областях, и объединяет их в последовательности динамических изображений;

при управлении автономным перемещением нескольких из панорамных видеокамер высокопроизводительное вычислительное устройство принимает от каждой из отдельно взятых панорамных видеокамер данные по динамическим изображениям, собираемым ими в таргетных областях, а также принимает от оставшихся неподвижными панорамных видеокамер данные по статическим изображениям, собираемым ими в нетаргетных областях, и объединяет их в последовательности динамических изображений;

Шаг 102: высокопроизводительное вычислительное устройство принимает информацию о трехмерных географических координатах каждой панорамной видеокамеры, направляемых измерительным роботом посредством оптических призм, установленных в каждой панорамной видеокамере.

Как показано в примере реализации настоящего изобретения, для получения реальных географических координат каждой панорамной видеокамеры необходимо использовать измерительные роботы и оптические призмы. Измерительный робот представляет собой прецизионный прибор для автоматического определения местонахождения целевых оптических призм, главными рабочими деталями которого являются гироскоп с ориентацией на север и умный тахеометр, причем гироскоп с ориентацией на север отвечает за определение направления действия измерительного робота, а измерительный робот на основе определенного направления, а также путем автоматического распознавания и отслеживания призм одновременно измеряет горизонтальные и вертикальные углы и трехмерное расстояние между собой и целевыми оптическими призмами с тем, чтобы в реальном времени выводить трехмерные географические координаты целевых призм. Измерения происходят с точностью до миллиметра.

Измерительный робот точно определяет величину относительного увода каждой из оптических призм, установленных на панорамных видеокамерах, и центральной оси объектива той панорамной видеокамеры, в которой он находится. Измерительный робот, получив трехмерные географические координаты оптических призм, определяет трехмерные географические координаты каждой панорамной видеокамеры исходя из величины относительного увода призм и центральной оси объектива той панорамной видеокамеры, в которой он находится, для дальнейшего перенаправления в высокопроизводительное вычислительное устройство, причем такие трехмерные географические координаты включают в себя: трехмерные географические координаты каждой панорамной видеокамеры во время ее перемещения в реальном времени и неизмененные трехмерные географические координаты каждой панорамной видеокамеры во время нахождения в статическом состоянии, кроме того, трехмерные географические координаты являются параметрами внешнего ориентирования, необходимыми для фотограмметрических измерений, и используются для слияния, сшивания и оптимизации высокопроизводительным вычислительным устройством изображений с помощью дополненной реальности в дальнейшем.

Шаг 103: высокопроизводительное вычислительное устройство принимает данные по параметрам внешнего ориентирования от датчиков пространственного положения, установленных в каждой из упомянутых панорамных видеокамер. Датчики пространственного положения представляют собой высокопроизводительные системы определения изменяемого положения объектов в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы. Датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния и оптимизации ортографических проекций панорамных изображений в дальнейшем.

Как показано в примере реализации настоящего изобретения, для создания трехмерного пространства, соответствующего реальному географическому пространству, используются датчики пространственного положения, установленные в каждой панорамной видеокамере. Такие датчики представляют собой высокопроизводительные системы определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы. Упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния и оптимизации панорамных изображений в дальнейшем.

Шаг 104: высокопроизводительное вычислительное устройство получает данные по фоновым звукам, получаемые и отправляемые многочисленным аппаратами для сбора аудиоданных, установленных внутри реального географического пространства.

Как показано в примере реализации настоящего изобретения, для усиления чувства «личной причастности» используются аппараты для сбора аудиоданных, рассредоточенно установленные внутри реального географического пространства, такие как микрофоны и проч. Каждый такой аппарат для сбора аудиоданных имеет свой уникальный номер и предназначается для сбора фоновых звуков во всех зонах покрытия таких аппаратов в упомянутом реальном географическом пространстве; при отправке в высокопроизводительное вычислительное устройство информации по фоновым звукам, собранной многочисленными аппаратами для сбора аудиоданных, они отправляют и свои номера, по которым оператор может посредством аппаратуры для управления выводом определять в дальнейшем точки отправки данных звуков.

Шаг 105: высокопроизводительное вычислительное устройство подвергает слиянию и сшиванию, а также геометрической корректировке и корректировке искажений ортографические проекции графических данных в соответствии со способом установки, последовательностью графических данных, отметочными точками, параметрами внешнего ориентирования и трехмерными географическими координатами, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений.

Если посредством дистанционных управляющих команд, пересылаемых высокопроизводительным вычислительным устройством, управляются съемочные процессы, осуществляемые установленными стационарным способом панорамными видеокамерами в таргетных областях, то высокопроизводительное вычислительное устройство в режиме реального времени получает последовательности графических изображений в таргетных и нетаргетных областях, из которых формируются последовательности фиксированных панорамных видео, подвергающиеся быстрому отбору и совмещению признаков с применением алгоритмов отбора признаков и отметочных точек, после чего путем совмещения фотограмметрии с параметрами внешнего ориентирования и на основе фиксированных последовательностей панорамных видео, уже прошедших этап быстрого отбора и совмещения признаков, изображения подвергаются корректировке ортографических проекций, слиянию и сшиванию с тем, чтобы получить ортографические проекции панорамных изображений, диапазон которых шире, чем диапазон панорамных изображений в реальном времени.

Если посредством дистанционных управляющих команд, пересылаемых высокопроизводительным вычислительным устройством, управляются съемочные процессы, осуществляемые в таргетных областях установленными способом контактной сварки панорамными видеокамерами, то высокопроизводительное вычислительное устройство получает последовательности динамических изображений, из которых формируются контактные последовательности панорамных видео, подвергающиеся быстрому отбору и совмещению признаков с применением алгоритмов отбора признаков и отметочных точек, после чего путем совмещения фотограмметрии с параметрами внешнего ориентирования и на основе контактных последовательностей панорамных видео, уже прошедших этап быстрого отбора и совмещения признаков, изображения подвергаются корректировке искажений, слиянию и сшиванию с тем, чтобы получить последовательности панорамных изображений.

Шаг 106: высокопроизводительное вычислительное устройство подвергает объединенные последовательности ортографических проекций или панорамных изображений, фоновые звуки и трехмерные географические координаты оптимизации с помощью дополненной реальности с тем, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

Как показано в примере реализации настоящего изобретения, если панорамные видеокамеры установлены стационарным способом, то высокопроизводительное вычислительное устройство определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде на основе ортографических проекций панорамных изображений, трехмерных географических координат и параметров внешнего ориентирования, а также с учетом связи с пространственной перспективой и создает трехмерные картины, соответствующие реальному географическому пространству, а напоследок интегрирует в трехмерные картины фоновые звуки, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

Либо, если панорамные видеокамеры установлены способом контактной сварки, то высокопроизводительное вычислительное устройство определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде на основе последовательностей панорамных видео, трехмерных географических координат и параметров внешнего ориентирования, а также с учетом связи с пространственной перспективой и создает трехмерные картины, соответствующие реальному географическому пространству, а напоследок интегрирует в трехмерные картины фоновые звуки, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами, обработанного технологиями дополненной реальности и пространственной звукозаписи и обладающего географическими координатами.

Следует отметить, что поскольку аппараты для сбора аудиоданных рассредоточенно установлены в реальном географическом пространстве, они по сути являются объектами в таргетных и нетаргетных областях и имеют точные, уже определенные координаты в реальном пространстве, а вместе с их уникальными номерами можно добавлять в оптимальные трехмерные картины пространственный звук, посредством которого оператор может узнавать через аппаратуру для управления выводом места, в которых изданы звуки.

Как показано в примере реализации настоящего изобретения, данные, к которым относятся собираемые панорамными видеокамерами панорамные изображения, собираемые аппаратами для сбора аудиоданных фоновые звуки и собираемые измерительными роботами трехмерные географические координаты, могут быть переданы и сохранены в высокопроизводительное вычислительное устройство через проводную или беспроводную сеть. Упомянутой проводной или беспроводной сетью может быть, помимо прочего, сеть 5G и не только. В качестве главного способа передачи данных можно использовать сети мобильной связи, а в качестве вспомогательного - оптоволоконные каналы связи. С применением всех преимуществ сетей мобильной связи обеспечивается быстрота и удобство передачи данных, однако в случае плохого качества сигналов передачи данных посредством мобильной связи в реальном географическом пространстве вместо нее можно использовать оптоволоконные каналы связи, которые лучше обеспечивают стабильность передачи данных, чем первые.

Шаг 107: высокопроизводительное вычислительное устройство направляет видеопотоки изображений реального географического пространства в аппаратуру для управления выводом, которая в режиме реального времени отображает реальное географическое пространство и позволяет оператору подавать дистанционные управляющие команды для осуществления дистанционного управления съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Как показано в примере реализации настоящего изобретения, после выполнения шагов 101-106 можно получить видеопотоки изображений реального географического пространства, отражающие обстановку в таком пространстве. Кроме того, для того, чтобы оператору было удобно осуществлять удаленное управление на основе таких видеопотоков изображений реального географического пространства, необходимо также, чтобы высокопроизводительное вычислительное устройство пересылало данные видеопотоки в аппаратуру для управления выводом, которая в реальном времени отображает их и создает для оператора чувство «личной причастности». Оператор посредством аппаратуры для управления выводом отправляет дистанционные управляющие команды и дистанционно в режиме реального времени контролирует движение всех или части панорамных видеокамер.

Как показано в примере реализации настоящего изобретения, аппаратура для управления выводом включает в себя: умное мультимедийное устройство или гарнитуру виртуальной реальности (VR-гарнитуру); на сегодняшний день VR-гарнитура является сравнительно новой высокотехнологичной продукцией и отличается более развитой технологией виртуальной реальности по сравнению с другим подобным устройством, она выполняет функции автоматического увеличения яркости изображений в зоне обзора оператора и отображения атрибутов объектов в зоне обзора и реальных географических координат на основе оптимальных изображений трехмерного пространства.

Разумеется, оператор может посредством умного мультимедийного устройства или VR-гарнитуры дистанционно и в режиме реального времени управлять всеми или частью панорамных видеокамер, осуществлять съемку в любой таргетной области и направлять в нее соответствующие параметры контроля для управления пространственным положением панорамных видеокамер и размерами снимаемых ими изображений. Как было упомянуто выше, оператор может также посредством умного мультимедийного устройства или VR-гарнитуры дистанционно и в режиме реального времени управлять скоростью и способами передвижения направляющих устройств при монтаже способом контактной сварки (например, передвижение панорамных видеокамер с указанной скоростью при наличии функции круиз-контроля и проч.), а также улучшать и ускорять контроль съемочными процессами, выполняемыми панорамными видеокамерами в таргетных областях.

На Фиг. 4 приведена схема организации связи по способу создания реального географического пространства в реальном времени, основанному на технике панорамного видео и представленному в примере реализации настоящего изобретения, в том числе: высокопроизводительное вычислительное устройство 600, аппаратура для управления выводом 800 и реальное географическое пространство 20. На основе трех данных элементов и реализуется способ создания реального географического пространства в реальном времени, основанный на технике панорамного видео.

Помимо вышеописанного способа создания реального географического пространства в реальном времени, основанного на технике панорамного видео, в примере реализации настоящего изобретения также предложено устройство для создания реального географического пространства в реальном времени на основе техники панорамного видео. На Фиг. 5 приведена структурная схема устройства для создания реального географического пространства в реальном времени на основе техники панорамного видео, представленного в примере реализации настоящего изобретения, причем упомянутое устройство для создания реального географического пространства в реальном времени применяется к высокопроизводительному вычислительному устройству, включающему в себя:

модуль приема графических данных 510, предназначенный для приема от многочисленных панорамных видеокамер графических данных и объединения их в последовательности графических данных, причем упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки;

модуль приема трехмерных географических координат 520, предназначенный для приема трехмерных географических координат каждой панорамной видеокамеры, направляемых измерительными роботами посредством оптических призм, установленных на каждой панорамной видеокамере; упомянутый измерительный робот представляет собой прецизионный прибор для автоматического определения местонахождения целевых оптических призм, главными рабочими деталями которого являются гироскоп с ориентацией на север и умный тахеометр, причем гироскоп с ориентацией на север отвечает за определение направления действия измерительного робота, а умный тахеометр на основе определенного направления, а также путем автоматического распознавания и отслеживания призм одновременно измеряет горизонтальные и вертикальные углы и трехмерное расстояние между собой и целевыми оптическими призмами с тем, чтобы в реальном времени выводить трехмерные географические координаты целевых призм;

модуль приема информации о пространственном положении панорамных видеокамер 530, предназначенный для приема данных по параметрам внешнего ориентирования от датчиков пространственного положения, установленных на каждой из упомянутых панорамных видеокамер; такие датчики представляют собой высокопроизводительные системы определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученных при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений в дальнейшем;

модуль приема аудиоданных 540, предназначенный для приема фоновых звуков, получаемых и отправляемых многочисленными аппаратами для сбора аудиоданных, установленных внутри реального географического пространства;

модуль слияния 550, предназначенный для слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, чтобы получить последовательности ортографических проекций или панорамных изображений, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений;

модуль оптимизации с помощью дополненной реальности 560, предназначенный для оптимизации интегрированных последовательностей ортографических проекций или панорамных изображений с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами средствами дополненной реальности, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

модуль отправки 570, предназначенный для отправки упомянутых видеопотоков изображений реального географического пространства в аппаратуру для управления выводом, которой отображается упомянутое реальное географическое пространство и посредством которой оператором отправляются упомянутые дистанционные управляющие команды, позволяющие осуществлять дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Дополнительной возможностью является то, что модуль приема графических данных 510 предназначается для следующих конкретных целей:

Способы сбора графических данных панорамными видеокамерами отличаются в зависимости от способов их установки;

если панорамные видеокамеры установлены способом стационарного монтажа, то в соответствии с потребностями в таргетных областях пересылаются дистанционные управляющие команды, посредством которых осуществляется управление панорамными изображениями, собираемыми каждой панорамной видеокамерой в своих таргетных областях в реальном времени, и их объединение в последовательности панорамных изображений в режиме реального времени;

если панорамные видеокамеры установлены способом контактной сварки, то в соответствии с потребностями в таргетных областях пересылаются дистанционные управляющие команды и посредством направляющих устройств осуществляется контроль способами перемещения панорамных видеокамер, причем различаются следующие способы перемещения панорамных видеокамер: автономное перемещение отдельно взятой панорамной камеры или синхронное перемещение нескольких камер;

при управлении синхронным перемещением панорамных видеокамер от каждой панорамной видеокамеры принимаются данные по динамическим изображениям, собираемым ими в таргетных и нетаргетных областях и объединяемым в последовательности динамических изображений;

при управлении автономным перемещением нескольких из панорамных видеокамер от каждой из отдельно взятых панорамных видеокамер принимаются данные по динамическим изображениям, собираемым ими в таргетных областях, а также от оставшихся неподвижными панорамных видеокамер принимаются данные по статическим изображениям, собираемым ими в нетаргетных областях, которые впоследствии объединяются в последовательности динамических изображений.

Дополнительной возможностью является то, что на каждой панорамной камере установлен датчик пространственного положения, представляющий собой высокопроизводительную систему определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которой входят такие вспомогательные датчики движения, как трехосный гироскоп, трехосный акселерометр и трехосный электронный компас; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений в дальнейшем; упомянутый модуль слияния 550 предназначается для следующих конкретных целей:

при упомянутом стационарном способе монтажа панорамных видеокамер принимаются упомянутые последовательности панорамных изображений в реальном времени и на основе таких последовательностей формируются фиксированные последовательности панорамных видео;

исходя из фактических потребностей, а также с использованием информации по упомянутым отметочным точкам, алгоритмов отбора признаков и компьютерного зрения упомянутые фиксированные последовательности панорамных видео подвергаются быстрому отбору и совмещению признаков;

путем совмещения фотограмметрии с данными по пространственному положению и местонахождению упомянутых панорамных видеокамер и упомянутыми параметрами внешнего ориентирования, а также использования технологий фотограмметрических измерений и компьютерного зрения фиксированные последовательности панорамных видео, уже прошедшие этап быстрого отбора и совмещения признаков, подвергаются корректировке ортографических проекций и слиянию изображений с тем, чтобы получить упомянутые ортографические проекции панорамных изображений, диапазон которых шире, чем диапазон упомянутых панорамных изображений в реальном времени;

при монтаже упомянутых панорамных видеокамер упомянутым путем их контактной сварки получаются упомянутые последовательности динамических изображений и на основе таких последовательностей формируются контактные последовательности панорамных видео;

путем использования алгоритма отбора признаков и упомянутых отметочных точек упомянутые контактные последовательности панорамных видео подвергаются быстрому отбору и совмещению признаков;

путем совмещения фотограмметрии с упомянутыми параметрами внешнего ориентирования и ориентирования на контактные последовательности панорамных видео, прошедшие этап быстрого отбора и совмещения признаков, изображения подвергаются быстрому слиянию, сшиванию и корректировке искажений с тем, чтобы получить упомянутые последовательности панорамных изображений.

Дополнительной возможностью является то, что модуль оптимизации с помощью дополненной реальности 560 предназначается для следующих конкретных целей:

на основе упомянутых ортографических проекций панорамных изображений, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяется точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создаются трехмерные картины, соответствующие упомянутому реальному географическому пространству;

в упомянутые трехмерные картины интегрируются упомянутые фоновые звуки, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

либо на основе упомянутых последовательностей панорамных видео, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяется точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создаются трехмерные картины, соответствующие упомянутому реальному географическому пространству;

в упомянутые трехмерные картины интегрируются упомянутые фоновые звуки, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

Обобщая вышеизложенное, можно сделать вывод о том, что способ создания реального географического пространства в реальном времени на основе техники панорамного видео основывается на: графических данных, принимаемых от многочисленных панорамных видеокамер и объединяемых в последовательности графических данных; трехмерных географических координатах каждой панорамной видеокамеры, информации о пространственном положении и фоновых звуках, принимаемой от них; процессах слияния и сшивания, а также геометрической корректировки и корректировки искажений изображений в соответствии с графическими данными, трехмерными географическими координатами и пространственным положением; видеопотоках изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем такие видеопотоки создаются путем оптимизации последовательностей ортографических проекций или панорамных изображений, объединенных с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами, с помощью дополненной реальности; оптимальном реальном географическом пространстве, отображаемом аппаратурой для управления выводом, в которую отправлены видеопотоки изображений реального географического пространства и посредством которой оператор осуществляет дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

Настоящим изобретением предлагается возможность создавать пространство при нахождении вдали от той или иной точки в текущем пространстве, которая обеспечивается за счет входящих и выходящих сигналов о видеоизображениях, звуковой частоте, реальных географических координатах и пространственном положении видеокамер с применением соответствующего аппаратного устройства и программных алгоритмов и благодаря которой у оператора появляется чувство «личной причастности», будто лично присутствует на месте. Таким образом оператор может иметь четкое представление и давать точную оценку ситуации, происходящей на территории производства, или возникшей аварии. На основе вышеизложенного непрерывно развиваются технологии дистанционного управления и коммуникации, которые позволяют человеку не только косвенно наблюдать за текущими рабочими действиями, но и в режиме реального контролировать производственные процессы, находясь в любом месте, а также переходить к полуавтоматизации (с малочисленным составом работников) или полной автоматизации производства (при отсутствии человека) на высокоопасных участках и повышать эффективность производственной деятельности в условиях обеспеченной безопасности труда для операторов дистанционного управления. Настоящим изобретением предложено эффективное решение задач, связанных с интеллектуализацией и автоматизацией производства в высокоопасных условиях и местах.

Несмотря на то, что в изложенном выше примере реализации дано детальное описание настоящего изобретения, рядовые технические работники данной области могут на основе приведенной созидательной концепции вносить в данный пример изменения и поправки, поэтому прилагаемая Формула изобретения подразумевает включение оптимального примера реализации настоящего изобретения и всех изменений и поправок, вносимых в примеры его реализации.

Напоследок следует отметить, что выражения «во-первых», «во-вторых» и т.д., встречаемые в тексте настоящей заявки, приводятся лишь для различения одного объекта или действия от другого объекта или действия и вовсе не означаются или указывают на какую-либо последовательность или связь между данными объектами или действиями. Выражения «состоять из…», «содержать в себе…» и другие их разновидности не исключают возможности существования иных компонентов, то есть процессы, способы, объекты или оконечные устройства, содержащие в себе ряд компонентов, содержат не только данные компоненты, но и другие не приведенные компоненты или компоненты, изначально присущие таким процессам, способам, объектам или оконечным устройствам. При отсутствии иных ограничений выражение «состоять из одного…», или «содержать в себе один…», якобы указывающее на ограниченное количество компонентов, не исключает возможности существования в том или ином процессе, способе, объекте или оконечном устройстве иного подобного компонента, отличного от вышеупомянутого.

Выше приведено иллюстрированное описание примера реализации настоящего изобретения, однако способы применения настоящего изобретения не ограничиваются вышеприведенным конкретным примером, который является лишь средством наглядности и вовсе не ставит каких-либо ограничений в отношении изобретения. Рядовые технические работники данной области могут, не нарушая основной идеи изобретения и требований Формулы изобретения, создавать множество форматов его реализации, которые подлежат охране в рамках настоящего изобретения.

Изобретение относится к средствам создания реального географического пространства в реальном времени, основанный на технике панорамного видео. Технический результат – повышение точности созданного географического пространства. Точные географические координаты и пространственное положение видеокамер определяются измерительными роботами и датчиками пространственного положения. Видеокамеры могут быть установлены стационарным способом или путем контактной сварки: при стационарном способе монтажа корректировке и слиянию ортографических проекций подвергаются одновременно несколько смежных видеороликов, а при монтаже способом контактной сварки видеокамеры устанавливают на направляющих устройствах и осуществляют локальные автономные съемки при быстром перемещении, при этом в режиме реального времени происходит слияние видеороликов, заснятых на соседствующие камеры. Если видеоролик, его географические координаты и фоновые звуки соответствуют времени выдержки, то они интегрируются для формирования видеопотоков изображений пространства, в результате чего у оператора появляется чувство «личной причастности» в данном пространстве, и он может дистанционно и в режиме реального времени управлять устройством. 2 н. и 10 з.п. ф-лы, 5 ил.

1. Способ создания реального географического пространства в реальном времени, основанный на технике панорамного видео, отличающийся тем, что упомянутый способ создания реального географического пространства в реальном времени основывается на:

графических данных, принимаемых высокопроизводительным вычислительным устройством от многочисленных панорамных видеокамер и объединяемых в последовательности графических данных, причем упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки;

трехмерных географических координатах каждой панорамной видеокамеры, принимаемых упомянутым высокопроизводительным вычислительным устройством и направляемых измерительными роботами посредством оптических призм, установленных на каждой панорамной видеокамере;

параметрах внешнего ориентирования, получаемых упомянутым высокопроизводительным вычислительным устройством от датчиков пространственного положения, причем такие датчики пространственного положения установлены на каждой упомянутой панорамной камере и предназначены для определения в режиме реального времени азимута, углов тангажа и крена панорамных видеокамер, на которых они установлены, а также для предоставления данных по параметрам внешнего ориентирования, что необходимо для дальнейшей геометрической корректировки, слияния и оптимизации ортографических проекций панорамных изображений;

фоновых звуках, принимаемых упомянутым высокопроизводительным вычислительным устройством, причем упомянутые фоновые звуки собираются и отправляются многочисленными аппаратами для сбора аудиоданных, установленными внутри реального географического пространства;

последовательностях ортографических проекций или панорамных изображений, получаемых упомянутым высокопроизводительным вычислительным устройством путем слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений;

видеопотоках изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем такие видеопотоки создаются упомянутым высокопроизводительным вычислительным устройством путем оптимизации последовательностей ортографических проекций или панорамных изображений, объединенных с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами, с помощью дополненной реальности;

дистанционных управляющих командах, высылаемых оператором посредством аппаратуры для управления выводом, в которую упомянутым высокопроизводительным вычислительным устройством отправлены упомянутые видеопотоки изображений реального географического пространства и в которой в режиме реального времени отображается упомянутое реальное географическое пространство, причем посредством упомянутых дистанционных управляющих команд осуществляется дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.

2. Способ создания реального географического пространства в реальном времени по п. 1, отличающийся тем, что упомянутые отметочные точки включают в себя: первичные и вторичные отметочные точки; упомянутые панорамные видеокамеры путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки, включающие в себя:

первичные отметочные точки, заданные в дублированных зонах обзора упомянутых панорамных видеокамер, неподвижно и равномерно распределенных в реальном географическом пространстве, если они установлены путем стационарного монтажа, причем интервал установки определяется самими же камерами в зависимости от точности собираемых ими изображений, зоны покрытия каждой панорамной видеокамеры должны отвечать условиям использования реальных картин, а степень совпадения смежных изображений должна превышать некоторую пороговую величину;

вторичные отметки, заданные в упомянутом реальном географическом пространстве с учетом возможности работы в режиме реального времени и скорости перемещения упомянутых панорамных видеокамер, если они установлены способом контактной сварки и в связи с чем установлены на направляющих устройствах, разбивающихся на несколько отдельных отрезков, причем на каждом из упомянутых отдельно взятых отрезков установлена по меньшей мере одна панорамная видеокамера, которую он способен самостоятельно приводить в движение;

на обоих концах каждого отдельно взятого отрезка имеются противоударные кольца, предотвращающие сход с рельсов по меньшей мере одной панорамной видеокамеры, установленной на каждом отдельно взятом отрезке, во время ее перемещения, причем скорость съемки каждой панорамной видеокамерой соответствует скорости ее передвижения, благодаря чему обеспечивается высокая степень дублирования в упомянутых последовательностях графических данных и возможность их слияния в больших масштабах, а также возможность слияния и интеграции изображений в режиме реального времени во время реконструкции реального географического пространства.

3. Способ создания реального географического пространства в реальном времени по п. 2, отличающийся тем, что упомянутое высокопроизводительное вычислительное устройство принимает от многочисленных панорамных видеокамер графические данные и объединяет их в последовательности графических данных, причем:

способы сбора упомянутых графических данных отличаются в зависимости от способов установки упомянутых панорамных видеокамер;

если панорамные видеокамеры установлены способом стационарного монтажа, то упомянутым высокопроизводительным вычислительным устройством в соответствии с потребностями в таргетных областях пересылаются упомянутые дистанционные управляющие команды, посредством которых осуществляется управление панорамными изображениями, собираемыми каждой панорамной видеокамерой в своих таргетных областях в реальном времени, их объединение в последовательности панорамных изображений в режиме реального времени;

если панорамные видеокамеры установлены способом контактной сварки, то упомянутым высокопроизводительным вычислительным устройством в соответствии с потребностями в упомянутых таргетных областях пересылаются упомянутые дистанционные управляющие команды и посредством упомянутых направляющих устройств осуществляется контроль способами перемещения упомянутых панорамных видеокамер, причем различаются следующие способы перемещения панорамных видеокамер: автономное перемещение отдельно взятой панорамной камеры или синхронное перемещение нескольких камер;

при управлении синхронным перемещением упомянутых панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство принимает от каждой упомянутой панорамной видеокамеры данные по динамическим изображениям, собираемым ими в упомянутых таргетных и нетаргетных областях, и объединяет их в последовательности динамических изображений;

при управлении автономным перемещением нескольких из упомянутых панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство принимает от каждой из упомянутых отдельно взятых панорамных видеокамер данные по динамическим изображениям, собираемым ими в упомянутых таргетных областях, а также принимает от оставшихся неподвижными панорамных видеокамер данные по статическим изображениям, собираемым ими в упомянутых нетаргетных областях, и объединяет их в последовательности динамических изображений.

4. Способ создания реального географического пространства в реальном времени по п. 1, отличающийся тем, что упомянутый измерительный робот, получив трехмерные географические координаты упомянутых оптических призм, определяет трехмерные географические координаты каждой панорамной видеокамеры исходя из величины относительного увода упомянутых призм и центральной оси объектива той панорамной видеокамеры, в которой он находится; упомянутый измерительный робот представляет собой прецизионный прибор для автоматического определения местонахождения целевых оптических призм, главными рабочими деталями которого являются гироскоп с ориентацией на север и умный тахеометр, причем гироскоп с ориентацией на север отвечает за определение направления действия измерительного робота, а умный тахеометр на основе определенного направления, а также путем автоматического распознавания и отслеживания призм одновременно измеряет горизонтальные и вертикальные углы и трехмерное расстояние между собой и целевыми оптическими призмами с тем, чтобы в реальном времени выводить трехмерные географические координаты целевых призм;

причем упомянутые трехмерные географические координаты включают в себя: трехмерные географические координаты каждой панорамной видеокамеры во время ее перемещения в реальном времени и неизмененные трехмерные географические координаты каждой панорамной видеокамеры во время нахождения в статическом состоянии, кроме того, упомянутые трехмерные географические координаты являются параметрами внешнего ориентирования, необходимыми для фотограмметрических измерений, и используются для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений с помощью дополненной реальности в дальнейшем.

5. Способ создания реального географического пространства в реальном времени по п. 1, отличающийся тем, что упомянутое высокопроизводительное вычислительное устройство принимает данные по параметрам внешнего ориентирования от датчиков пространственного положения, установленных на каждой из упомянутых панорамных видеокамер; такой датчик пространственного положения представляет собой высокопроизводительную систему определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которой входят такие вспомогательные датчики движения, как трехосный гироскоп, трехосный акселерометр и трехосный электронный компас; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученными при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений с помощью дополненной реальности в дальнейшем;

6. Способ создания реального географического пространства в реальном времени по п. 1, отличающийся тем, что упомянутые аппараты для сбора аудиоданных с уникальными номерами рассредоточено установлены в упомянутом реальном географическом пространстве и предназначены для сбора фоновых звуков во всех зонах покрытия таких аппаратов в упомянутом реальном географическом пространстве;

при отправке информации по фоновым звукам, собранной упомянутыми аппаратами для сбора аудиоданных, они отправляют и свои номера, по которым упомянутый оператор может посредством аппаратуры для управления выводом определять в дальнейшем точки отправки данных звуков.

7. Способ создания реального географического пространства в реальном времени по п. 3, отличающийся тем, что упомянутым высокопроизводительным вычислительным устройством в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами подвергает упомянутые последовательности графических данных слиянию и сшиванию, а также геометрической корректировке и корректировке искажений ортографических проекций, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно:

при стационарном способе монтажа панорамных видеокамер упомянутое высокопроизводительное вычислительное устройство получает упомянутые последовательности панорамных изображений в реальном времени и на основе таких последовательностей формирует фиксированные последовательности панорамных видео;

упомянутое высокопроизводительное вычислительное устройство исходя из фактических потребностей, используя информацию по упомянутым отметочным точкам, алгоритмы отбора признаков и компьютерного зрения, подвергает упомянутые фиксированные последовательности панорамных видео быстрому отбору и совмещению признаков;

упомянутое высокопроизводительное вычислительное устройство, совмещая фотограмметрию с данными по пространственному положению и местонахождению упомянутых панорамных видеокамер и упомянутыми параметрами внешнего ориентирования, а также используя технологии фотограмметрических измерений и компьютерного зрения подвергает фиксированные последовательности панорамных видео, уже прошедшие этап быстрого отбора и совмещения признаков, корректировке ортографических проекций и слиянию изображений с тем, чтобы получить упомянутые ортографические проекции панорамных изображений, диапазон которых шире, чем диапазон упомянутых панорамных изображений в реальном времени;

при монтаже панорамных видеокамер путем их контактной сварки упомянутое высокопроизводительное вычислительное устройство получает упомянутые последовательности динамических изображений и на основе таких последовательностей формирует контактные последовательности панорамных видео;

упомянутое высокопроизводительное вычислительное устройство, используя алгоритм отбора признаков и упомянутые отметочные точки, подвергает упомянутые контактные последовательности панорамных видео быстрому отбору и совмещению признаков;

упомянутое высокопроизводительное вычислительное устройство, совмещая фотограмметрию с упомянутыми параметрами внешнего ориентирования и основываясь на контактные последовательности панорамных видео, прошедшие этап быстрого отбора и совмещения признаков, подвергает изображения быстрому слиянию, сшиванию и корректировке искажений с тем, чтобы получить упомянутые последовательности панорамных изображений.

8. Способ создания реального географического пространства в реальном времени по п. 7, отличающийся тем, что упомянутое высокопроизводительное вычислительное устройство подвергает объединенные последовательности ортографических проекций или панорамных изображений, упомянутые фоновые звуки и упомянутые трехмерные географические координаты оптимизации с помощью дополненной реальности с тем, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи, причем:

упомянутое высокопроизводительное вычислительное устройство на основе упомянутых ортографических проекций панорамных изображений, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создает трехмерные картины, соответствующие упомянутому реальному географическому пространству;

упомянутое высокопроизводительное вычислительное устройство интегрирует упомянутые фоновые звуки в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

либо упомянутое высокопроизводительное вычислительное устройство на основе упомянутых последовательностях панорамных видео, упомянутых трехмерных географических координат и упомянутых параметров внешнего ориентирования и с учетом связи с пространственной перспективой определяет точное местоположение объектов из таргетных и объектов из нетаргетных областей в реальной пространственной среде и создает трехмерные картины, соответствующие упомянутому реальному географическому пространству;

упомянутое высокопроизводительное вычислительное устройство интегрирует упомянутые фоновые звуки в упомянутые трехмерные картины, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи.

9. Способ создания реального географического пространства в реальном времени по п. 2, отличающийся тем, что на обоих концах каждого отдельно взятого отрезка установлены осветительные приборы и устройства для автоматической очистки от порошковой пыли;

упомянутые осветительные приборы обеспечивают четкость видимости среды в зонах охвата упомянутых панорамных видеокамер;

упомянутые устройства для автоматической очистки от порошковой пыли обеспечивают беспрепятственность перемещения упомянутых панорамных видеокамер.

10. Способ создания реального географического пространства в реальном времени по п. 3, отличающийся тем, что в каждой панорамной видеокамере имеется интерфейс дистанционного управления и объектив «рыбий глаз» или оптическое зеркало, либо объектив, созданный путем объединения нескольких обычных объективов, направленных в разные стороны;

упомянутый объектив «рыбий глаз» или оптическое зеркало, либо объектив, созданный путем объединения нескольких обычных объективов, направленных в разные стороны, обеспечивает для каждой из упомянутых панорамных видеокамер наличие панорамного поля обзора в 720° в поперечном и продольном направлениях и отсутствие слепых зон в центре;

упомянутый интерфейс дистанционного управления предназначен для приема дистанционных управляющих команд, позволяющих оператору дистанционно управлять панорамными видеокамерами через проводную или беспроводную сеть, которой может быть, помимо прочего, сеть 5G, а упомянутые дистанционные управляющие команды включают в себя: команды для регулировки пространственного положения панорамных видеокамер согласно требованиям съемок в упомянутых таргетных областях и команды, связанные с размерами снимаемых изображений.

11. Способ создания реального географического пространства в реальном времени по п. 1, отличающийся тем, что упомянутая аппаратура для управления выводом включает в себя: умное мультимедийное устройство или гарнитуру виртуальной реальности (VR-гарнитуру);

упомянутая VR-гарнитура выполняет функции автоматического увеличения яркости изображений в зоне обзора упомянутого оператора и отображения атрибутов объектов в упомянутой зоне обзора и реальных географических координат на основе видеопотоков изображений в реальном географическом пространстве;

упомянутый оператор посредством упомянутого умного мультимедийного оборудования или упомянутой VR-гарнитуры дистанционно и в режиме реального времени управляет всеми или частью панорамных видеокамер, осуществляет съемку в любой таргетной области и направляет в нее соответствующие параметры контроля.

12. Устройство для создания реального географического пространства в реальном времени с применением техники панорамного видео, отличающееся тем, что применяется к высокопроизводительному вычислительному оборудованию, включающему в себя:

модуль приема графических данных, предназначенный для приема от многочисленных панорамных видеокамер графических данных и объединения их в последовательности графических данных, причем упомянутые панорамные видеокамеры управляются посредством дистанционных управляющих команд и путем стационарного монтажа или сварки контактным способом установлены внутри реального географического пространства, в котором заданы отметочные точки;

модуль приема трехмерных географических координат, предназначенный для приема трехмерных географических координат каждой панорамной видеокамеры, направляемых измерительными роботами посредством оптических призм, установленных на каждой панорамной видеокамере;

модуль приема информации о пространственном положении панорамных видеокамер, предназначенный для приема данных по параметрам внешнего ориентирования от датчиков пространственного положения, установленных на каждой из упомянутых панорамных видеокамер;

такие датчики представляют собой высокопроизводительные системы определения изменяемого положения объекта в трехмерном пространстве, в конструкцию которых входят такие вспомогательные датчики движения, как трехосные гироскопы, трехосные акселерометры и трехосные электронные компасы; упомянутые датчики пространственного положения служат для определения азимута, углов тангажа и крена тех панорамных видеокамер, в которых они установлены, и обеспечения параметрами внешнего ориентирования, полученных при фотограмметрических измерениях, а также для геометрической корректировки, слияния, сшивания и оптимизации ортографических проекций панорамных изображений в дальнейшем;

модуль приема аудиоданных, предназначенный для приема фоновых звуков, получаемых и отправляемых многочисленным аппаратами для сбора аудиоданных, установленных внутри реального географического пространства;

модуль слияния, предназначенный для слияния и сшивания, а также геометрической корректировки и корректировки искажений ортографических проекций упомянутых графических данных в соответствии со способом установки, последовательностью упомянутых графических данных, упомянутыми отметочными точками, упомянутыми параметрами внешнего ориентирования и упомянутыми трехмерными географическими координатами, чтобы получить последовательности ортографических проекций или панорамных изображений, при этом при разных способах монтажа применяются разные способы слияния и оптимизации, а именно: последовательности ортографических проекций, являющиеся последовательностями изображений, полученных при стационарном способе монтажа, получаются путем слияния, сшивания и геометрической корректировки ортографических проекций, а последовательности панорамных изображений, являющиеся последовательностями изображений, полученных при сварке контактным способом, получаются путем слияния, сшивания и корректировки искажений;

модуль оптимизации с помощью дополненной реальности, предназначенный для оптимизации интегрированных последовательностей ортографических проекций или панорамных изображений с упомянутыми фоновыми звуками и упомянутыми трехмерными географическими координатами средствами дополненной реальности, чтобы получить видеопотоки изображений реального географического пространства, расположенного внутри каркаса с географическими координатами и обработанного технологиями дополненной реальности и пространственной звукозаписи;

модуль отправки, предназначенный для отправки упомянутых видеопотоков изображений реального географического пространства в аппаратуру для управления выводом, которой отображается упомянутое реальное географическое пространство и посредством которой оператором отправляются упомянутые дистанционные управляющие команды, позволяющие осуществлять дистанционное управление съемкой или перемещением всех или части панорамных видеокамер в режиме реального времени.