ОБНАРУЖЕНИЕ СОСТОЯНИЯ С ИСПОЛЬЗОВАНИЕМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК G06T7/00 G06K9/00 G06Q10/00 

УРОВЕНЬ ТЕХНИКИ

[0001] Беспилотные транспортные средства (UV), которые могут включать в себя беспилотные летательные аппараты (UAV), дистанционно управляемые транспортные средства, беспилотные наземные транспортные средства, даже кооперативные роботы и т.д., обычно действуют без человека на борту. Пилотируемые транспортные средства, например, самолеты, вертолеты, управляемые наземные транспортные средства и т.д., обычно действуют с человеком на борту. Транспортные средства, включающие в себя беспилотные и пилотируемые транспортные средства, с системами формирования изображения, например, видеокамерами, инфракрасными (IR) датчиками и т.д., можно использовать для захвата изображений интересующей области. Изображения можно анализировать в отношении объектов, которые располагаются в интересующей области.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0002] Признаки настоящего изобретения проиллюстрированы на примерах, показанных на следующих чертежах. На следующих чертежах аналогичные позиции указывают аналогичные элементы, при этом:

[0003] фиг. 1 иллюстрирует детальную архитектуру системы обнаружения состояния с использованием обработки изображений, согласно примеру настоящего изобретения;

[0004] фиг. 2 иллюстрирует общее выполнение для системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0005] фиг. 3 иллюстрирует разделение данных на фрагменты для системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0006] фиг. 4 иллюстрирует поток данных для блока формирования трехмерной модели системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0007] фиг. 5 иллюстрирует процесс подготовки данных привязки к глобальной системе позиционирования (GPS) для использования в блоке формирования трехмерной модели, согласно примеру настоящего изобретения;

[0008] фиг. 6 иллюстрирует формирование карт высот для блока формирования трехмерной модели, согласно примеру настоящего изобретения;

[0009] фиг. 7 иллюстрирует поток данных для блока распознавания объектов системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0010] фиг. 8 иллюстрирует область линейных инфраструктурных объектов которая подлежит контролю посредством системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0011] фиг. 9 иллюстрирует общие реализацию и выполнение для блока распознавания объектов, согласно примеру настоящего изобретения;

[0012] фиг. 10 иллюстрирует классификацию земли и формирование маски земли для блока распознавания объектов, согласно примеру настоящего изобретения;

[0013] фиг. 11 иллюстрирует оценивание уровня высоты земли для блока распознавания объектов, согласно примеру настоящего изобретения;

[0014] фиг. 12 иллюстрирует подготовку обучающих данных для системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0015] фиг. 13 иллюстрирует обнаружение опор и формирование маски опор для блока распознавания объектов, согласно примеру настоящего изобретения;

[0016] фиг. 14 иллюстрирует обнаружение линий электропередачи и формирование маски интересующей области (ROI) линии для блока распознавания объектов, согласно примеру настоящего изобретения;

[0017] фиг. 15 иллюстрирует обнаружение растительности и формирование маски растительности для блока распознавания объектов, согласно примеру настоящего изобретения;

[0018] фиг. 16 иллюстрирует обнаружение неизвестного объекта и формирование маски неизвестного объекта для блока распознавания объектов, согласно примеру настоящего изобретения;

[0019] фиг. 17 и 18 иллюстрируют создание областей для блока распознавания объектов, согласно примеру настоящего изобретения;

[0020] фиг. 19 иллюстрирует консолидацию области для блока распознавания объектов, согласно примеру настоящего изобретения;

[0021] фиг. 20A-20C иллюстрируют блок реконструкции трехмерной кривой для системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0022] фиг. 21 иллюстрирует поток данных блока анализа рисков для блока анализа рисков системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0023] фиг. 22-24 иллюстрируют оценивание ареальных рисков для блока анализа рисков, согласно примеру настоящего изобретения;

[0024] фиг. 25 иллюстрирует обнаружение растительности в коридоре (RoW) для блока анализа рисков, согласно примеру настоящего изобретения;

[0025] фиг. 26 иллюстрирует обнаружение высоких деревьев для блока анализа рисков, согласно примеру настоящего изобретения;

[0026] фиг. 27 иллюстрирует определение минимального просвета линии электропередачи для блока анализа рисков, согласно примеру настоящего изобретения;

[0027] фиг. 28 и 29 иллюстрируют консолидацию рисков для блока консолидации рисков системы обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0028] фиг. 30 иллюстрирует поток данных клиентского пользовательского интерфейса, связанного с системой обнаружения состояния с использованием обработки изображений, показанной на фиг. 1, согласно примеру настоящего изобретения;

[0029] фиг. 31 иллюстрирует клиентский пользовательский интерфейс согласно примеру настоящего изобретения;

[0030] фиг. 32 иллюстрирует способ обнаружения состояния с использованием обработки изображений согласно примеру настоящего изобретения;

[0031] фиг. 33 иллюстрирует способ обнаружения состояния с использованием обработки изображений согласно примеру настоящего изобретения; и

[0032] фиг. 34 иллюстрирует компьютерную систему, согласно примеру настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0033] В целях простоты и иллюстрации, настоящее изобретение описано в основном в порядке примера. В нижеследующем описании многочисленные конкретные детали изложены для обеспечения полного понимания настоящего изобретения. Однако очевидно, что настоящее изобретение можно осуществлять на практике без ограничения этими конкретными деталями. В других случаях некоторые способы и структуры подробно не описаны, чтобы без необходимости не затемнять настоящее изобретение.

[0034] В настоящем изобретении употребление формы единственного числа призвано обозначать по меньшей мере один конкретный элемент. Используемый здесь термин «включает в себя» включает в себя, но без ограничения, термин «включающий в себя» означает «включающий в себя, но без ограничения». Термин «на основании» означает «по меньшей мере частично на основании».

[0035] В отношении транспортных средств в общем (например, UAV, дистанционно управляемых транспортных средств, беспилотных наземных транспортных средств, пилотируемого самолета, пилотируемых вертолетов, пилотируемых наземных транспортных средств, спутников и т.д.), такие транспортные средства можно использовать для осуществления обнаружения состояния с использованием обработки изображений, как описано здесь. С усовершенствованием датчиков, возможностей анализа данных и компонентов программной механизации, транспортные средства можно использовать в различных неоднозначных средах и для осуществления различных неоднозначных задач. Например, транспортные средства можно использовать для доставки пакетов, сельского хозяйства, аварийных служб, обследования трубопроводов, обследования опор линий электропередачи и т.д. Однако объединение транспортных средств в отношении контроля объектов, и анализ состояния таких объектов с использованием компьютерного зрения и упреждающего анализа ограничен. В общем объект можно описать как что-то, что контролируется (например, трубопроводы, электрические сети, железнодорожные пути, автодороги, растительность, деревья, объекты и т.д.). В связи с этим, объекты можно описать как инфраструктурные объекты - объекты, проверка общего состояния которого может быть основной целью контроля (например, опоры для электрических сетей, линии электропередачи для электрических сетей и т.д.), или как неинфраструктурные объекты - объекты, которые потенциально могут повредить инфраструктурные объекты, или препятствовать инфраструктурным объектам в осуществлении их задач (например, растительность, антропогенные объекты и т.д.).

[0036] Согласно примеру, в отношении контроля и анализа состояния объектов, например, энергосистем, энергосистемы отвечают за формирование, передачу и распределение энергии в различные районы, дома, предприятия и т.д. Для таких энергосистем, могут возникать проблемы в ходе передачи энергии. Для передачи энергии, можно определить магистраль, где располагаются линии электропередачи, которые используются для передачи энергии, причем магистраль обозначена коридором (RoW). Коммунальные предприятия могут использовать этот RoW для осуществления доступа к опорам передачи, например, для регламентного обслуживания опор и линий электропередачи, для аварийного доступа, для поддержания области линий электропередачи свободным от растительности и объектов, которые могут препятствовать эксплуатации линий электропередачи, и/или для идентификации наличия каких-либо препятствий, которые могут приводить к проблемы в области линий электропередачи. Термин «область линий электропередачи» можно использовать для описания области, которая включает в себя линии электропередачи и опоры. RoW можно описать как область, которая охватывает область линий электропередачи и область вблизи линий электропередачи, которая должна быть свободна от растительности, зданий или других объектов. Может быть необходимой очистка RoW во избежание таких рисков, как пробой или образование электрической дуги, которые могут приводить к обширным отключениям энергии и пожаров, чтобы гарантировать надежное и безопасное энергоснабжение, и безопасность общественных и частных земель вокруг RoW.

[0037] В отношении примера контроля и анализа состояния объектов, например, энергосистем, существующие процедуры обслуживания передачи могут включать в себя периодические обследования, осуществляемые с вертолета или пешком обслуживающим персоналом, которые могут осуществляться для определения необходимости ремонта. Стратегия этого типа предполагает как значительные затраты на обслуживание, так и затраты времени. Кроме того, если происходит единичный инцидент, например, падение дерева в результате грозы, точное определение положения аварии трудно осуществимо и занимает много времени.

[0038] Описанные здесь проблемы в отношении примера контроля и анализа состояния объектов, например энергосистем, также могут быть применимы к другим отраслям и областям, например, контролю и анализу состояния зданий, железнодорожных путей, автодорог и т.д.

[0039] Для решения вышеупомянутых проблем в отношении контроля и анализа состояния объектов, здесь раскрыты система обнаружения состояния с использованием обработки изображений и способ обнаружения состояния с использованием обработки изображений. Для раскрытых здесь системы и способа, такие технологии, как транспортные средства, компьютерное зрение, машинное обучение, распознавание образов и развитая аналитика, могут быть объединены для оценивания существуют ли какие-либо типы рисков в отношении контролируемых объектов. Например, в отношении энергосистем, раскрытые здесь система и способ могут обеспечивать контроль и анализ состояния, связанные с RoW и/или областью линий электропередачи. Раскрытые здесь система и способ могут обеспечивать полезную информацию в отношении обнаруженных рисков, например, их положение в глобальной системе позиционирования (GPS), размера и т.д. На основании использования транспортных средств, контроль и анализ состояния, обеспеченные раскрытыми здесь системой и способом, могут осуществляться экономично по времени и затратам, и в областях, труднодоступным для людей.

[0040] В отношении контроля и анализа состояния объектов, контроль и анализ состояния можно использовать для других применений, связанных с работой объектов. Например, результаты контроля и анализа состояния можно использовать для задания и/или оптимального использования бюджета, связанного с задачами, связанными с контролем и анализом состояния. Например, в отношении энергосистем, контроль и анализ состояния можно использовать для определения, какие области RoW наиболее опасны, и освобождения таких областей. В отношении других применений, полет вблизи контролируемого объекта можно использовать для проверки, правильно ли осуществлялась предыдущая задача, связанная с объектом. Результаты анализа исторических данных, связанных с контролем и анализом состояния также могут использоваться для оптимизации запланированного обслуживания объектов, и для продления жизненного цикла таких объектов.

[0041] Согласно примерам, раскрытые здесь система и способ могут, в целом, использовать блок управления заданием для назначения и управления задания после приема наряда на работу. Блок управления заданием может поддерживать информацию о флоте транспортных средств, датчиках и экипаже, а также информацию, касающуюся состояния наряда на работу и состояния задания. Блок управления заданием может транслировать наряд на работу в требование к заданию путем назначения транспортных средств, датчиков и экипажа требованию к заданию, идентификации плана перемещения транспортного средства и цели для задания. После запуска задания, раскрытая здесь система может анализировать данные связи (например, телеметрические данные), принятые в ходе выполнения задания, и может формировать предупреждения и/или другую информацию на основании обнаружения рисков.

[0042] В отношении блока управления заданием, который отслеживает информацию, касающуюся транспортных средств, датчиков и экипаж, управляющий транспортным средством, транспортные средства можно отслеживать, например, по типу, доступности и возможности монтажа конкретных датчиков. Блок управления заданием также может отслеживать датчики по типу, доступности и возможности монтажа на конкретных транспортных средствах. Экипажи, управляющие транспортным средством, также могут отслеживаться по доступности и способности управлять конкретными транспортными средствами.

[0043] Блок управления заданием может принимать наряд на работу, связанный с заданием транспортного средства. Согласно примеру, наряды на работу могут приниматься от различных предприятий и охватывать различные применения транспортных средств. Блок управления заданием может транслировать наряд на работу в требование к заданию. Требование к заданию может идентифицировать, например, работу транспортного средства, тип транспортного средства для выполнения работы по меньшей мере один тип датчика, подлежащий монтажу на транспортном средстве, экипаж, управляющий транспортным средством, план перемещения и/или цель для задания. Например, требование к заданию может указывать, что транспортное средство с неподвижным крылом или квадрокоптер (т.е. типы транспортных средств) может быть снабжено фотоаппаратом для создания изображений RoW для множества опор. После запуска задания, транспортное средство может самостоятельно следовать плану перемещения (например, для беспилотного транспортного средства), или с изменяющимися степенями дистанционного руководства оператором от блока управления заданием. Датчики, смонтированные на транспортном средстве может передавать данные в реальном времени на блок управления заданием, который может передавать соответствующие данные в раскрытую здесь систему для дополнительного анализа. Передача соответствующих данных может возникать, либо после посадки транспортного средства (например, для воздушных транспортных средств), завершение задания или в реальном времени на основании доступности полосы.

[0044] Хотя примеры раскрытых здесь системы и способа были описаны в отношении энергосистем (например, контроль и анализ состояния опор и линий электропередачи), раскрытые здесь систему и способ можно использовать в различных средах и в различных целях. Например, раскрытые здесь систему и способ можно использовать для контроля трубопровода в нефтяной и газовой промышленности. В нефтяной и газовой промышленности, раскрытые здесь систему и способ можно использовать в других сценариях, включающих в себя различные типы изысканий (например, инженерно-геологические работы на площадках, буровые работы на площадках и т.д.), разработку (например, установку подушки, визуализацию установки, капитальный проект, наблюдение и т.д.), добычу (например, обследование факела/сброса газа, обнаружение нефтяной пленки, аварийную защиту и т.д.), производство (обследование желоба/дымохода, обследование резервуара/газа, обнаружение газа и т.д.), и транспортировку (например, контроль RoW, отслеживание хищений и т.д.).

[0045] Раскрытые здесь систему и способ можно использовать в доставке пакетов (например, продуктов питания, лекарств, оборудования и т.д.), воздушном наблюдении (например, в целях полиции/пожарной службы, картографии, фотографии, киносъемки, журнализма, торговли недвижимостью и т.д.), разведке (например, обнаружении мин, инженерно-геологических работах на площадках и т.д.), исследованиях (например, дикой природы, атмосферы, океана и т.д.), дистанционном контроле (например, телекоммуникационном, погодном, морском, строительном и т.д.), оказании помощи в связи со стихийными бедствиями (например, спасательных работах, разведке загрязненных областей и т.д.), защите окружающей среды (например, лесных пожаров, угроз и т.д.), и сельском хозяйстве (например, распыления пестицидов, роста урожая, заболеваний, уровня обводнения, диких животных и т.д.).

[0046] Раскрытые здесь систему и способ можно использовать для планирования диагностического обслуживания для обеспечения обследования, диагностики, ремонта и технического обслуживания имущества. Кроме того, раскрытые здесь систему и способ можно использовать, например, для идентификации и планирования управления окружающей среды (например, местности, растительности и т.д.). Раскрытые здесь система и способ также могут обеспечивать улучшения в безопасности и защите окружающей среды в связи с различными описанными здесь действиями. Например, в отношении энергосистем, раскрытые здесь систему и способ можно использовать для эффективной и экономичной защиты имущества от саботажа и терроризма.

[0047] Раскрытые здесь систему и способ можно использовать для анализа данных от транспортного средства для определения задач, который можно автоматизировать как электронными, так и механическими средствами в последовательности операций, и для идентификации догадок, которые могут быть получены из данных. Эти догадки можно использовать для возбуждения операционных решений, например, сокращения времени опережения до обнаружения проблемы, или диагностического обслуживания с опорами и линиями электропередачи, например, в энергетике. Раскрытые здесь система и способ могут обеспечивать уменьшение воздействия опасных сред, повышение экономичности и эффективности в отношении обнаружения состояния с использованием обработки изображений, и оптимизацию операций.

[0048] В общем, раскрытые здесь систему и способ можно рассматривать в широком диапазоне применений, где можно использовать автоматический или автоматизированный анализ данных на основе имущества для уменьшения затрат, повышения надежности и повышения производительности.

[0049] Раскрытые здесь система и способ могут учитывать аспекты, связанные с состоянием технологии транспортных средств, регуляции и согласования, готовности и безопасности и защиты личной информации. В отношении технологии транспортных средств, раскрытые здесь система и способ могут обеспечивать аппаратную и программную платформу и установку для обнаружения состояния с использованием обработки изображений.

[0050] Раскрытые здесь система обнаружения состояния с использованием обработки изображений и способ обнаружения состояния с использованием обработки изображений обеспечивают техническое решение технических проблем, связанных, например, с обнаружением состояния с использованием обработки изображений. Раскрытые здесь система и способ обеспечивают техническое решение блока формирования трехмерной модели для приема изображений, захваченных транспортным средством при перемещении транспортного средства по траектории транспортного средства, и телеметрических данных, связанных с перемещением транспортного средства по траектории транспортного средства. Телеметрические данные могут включать в себя информацию журнала перемещения, относящуюся к перемещению транспортного средства по траектории транспортного средства, и данные географической привязки, связанные с множеством опорных точек местности (GCP) на траектории транспортного средства. Блок формирования трехмерной модели может формировать на основании телеметрических данных и изображений трехмерную (или двух с половиной-мерную) модель объектов по траектории транспортного средства. Двух с половиной-мерная модель может представлять сокращенное представление трехмерной (x, y, z) модели и включать в себя информацию, относящуюся к поверхности, для которой одно значение «глубины» или «высоты» (z) присутствует для каждой точки в плоскости (x, y). Для трехмерной модели, каждая точка (x, y) может включать в себя более одной «глубины» или «высоты» (z), благодаря чему, возможны нависающие элементы. Блок формирования трехмерной модели может использовать трехмерную (или двух с половиной-мерную) модель для формирования ортофотоплана который включает в себя траекторию транспортного средства, карты высот (т.е. карты высот изображений, где каждая карта высот изображения представляет карту высот для изображения) и данные совмещения GPS изображений (т.е. данные для преобразования локальных координат изображения и соответствующей высоты в координаты GPS и для преобразования координат GPS и высоты в локальные координаты изображения), связанные с исходными изображениями. Данные совмещения можно, в общем случае, именовать данными совмещения мировых координат, для других типов систем координат. Блок распознавания объектов может принимать изображения, соответствующие карты высот для изображений, данные совмещения GPS изображений, телеметрические данные и данные приблизительного GPS-положения инфраструктуры. Блок распознавания объектов может обнаруживать, на основании изображений, соответствующие карты высот для изображений, данные совмещения GPS изображений, телеметрические данные и данные приблизительного GPS-положения инфраструктуры, объекты в изображениях и положения объектов на основании данных совмещения GPS изображений. Кроме того, блок распознавания объектов может консолидировать положения одних и тех же инфраструктурных объектов, обнаруженных в различных изображениях, для определения консолидированных положений для одних и тех же инфраструктурных объектов. Консолидированное положение может представлять единое определенное положение для объекта, которое может включать в себя различные положения в различных изображениях. Блок распознавания объектов может задавать области (т.е. зоны для последующего анализа) на основании консолидированных положений для одних и тех же инфраструктурных объектов, и определять маски объектов областей, карты высот областей и данные совмещения GPS областей (данные для преобразования локальных координат области в координаты GPS и обратно). Маску можно описать как матрицу тех же размеров, что и исходное изображение, где каждый элемент матрицы указывает результаты классификации для соответствующего пикселя. Например, для данного изображения, включающего в себя инфраструктурные и неинфраструктурные объекты, маска инфраструктурных объектов может включать в себя элементы со значением «1» для пикселей, изображающих части обнаруженных инфраструктурных объектов, и значение «0» для фоновых (всех остальных) пикселей, и маска неинфраструктурных объектов может включать в себя элементы со значением «1» для пикселей, изображающих части обнаруженных неинфраструктурных объектов, и значение «0» для фоновых (всех остальных) пикселей. Кроме того, маска земли того же изображения может включать в себя элементы со значением «1» для пикселей земли, и значение «0» для пикселей не земли. Блок реконструкции трехмерной кривой может принимать маски изображения (сформированные блоком распознавания объектов) заданных типов объектов (например, линий электропередачи) для реконструкции трехмерной (или двух с половиной-мерной) модели заданных типов объектов и формировать параметризованное представление заданных типов объектов. Блок анализа рисков может использовать маски объектов областей, карты высот областей, данные совмещения GPS областей, параметризованное представление заданных типов объектов и инфраструктурные правила для обнаружения рисков, связанных с объектами, путем определения, нарушены ли инфраструктурные правила. Блок анализа рисков может формировать маски риска (т.е. маски для областей рисковых объектов в системах координат областей). Блок консолидации рисков может использовать маски риска и данные совмещения GPS областей для объединения рисков одного и того же типа, расположенных в различных областях в одном и том же GPS-положении, например, для формирования списков рисков и параметров для различных типов рисков.

[0051] Система обнаружения состояния с использованием обработки изображений

[0052] Фиг. 1 иллюстрирует детальную архитектуру системы 100 обнаружения состояния с использованием обработки изображений, согласно примеру настоящего изобретения. Система 100 обнаружения состояния с использованием обработки изображений может включать в себя блок 102 формирования трехмерной модели, реализуемый по меньшей мере одним аппаратным процессором (например по меньшей мере одним аппаратным процессором 3402, показанным на фиг. 34), для приема изображений 104, захваченных при перемещении транспортного средства 106 по траектории 108 транспортного средства, и телеметрических данных 110, связанных с перемещением транспортного средства 106 по траектории 108 транспортного средства, подлежащей контролю. Телеметрические данные 110 могут включать в себя, например, информацию журнала перемещения (например, информацию журнала полета для воздушного транспортного средства, и в общем информацию журнала перемещения для наземных или других типов транспортных средств), связанную с перемещением транспортного средства 106 по траектории 108 транспортного средства, и данные географической привязки, связанные с множеством GCP на траектории 108 транспортного средства. Телеметрические данные 110 могут приниматься от блока 112 управления заданием и/или от пользовательского интерфейса 114 установки в случае данных географической привязки. Блок 112 управления заданием может быть компонентом системы 100 или располагаться и/или оперироваться отдельно как показано на фиг. 1.

[0053] Пользователь системы 100 может использовать дисплей интерфейса установки пользовательского интерфейса 114 установки для задания точек географической привязки, подлежащих использованию в блоке 102 формирования трехмерной модели для более высокой точности географической привязки, и настройки параметров, подлежащих использованию различными компонентами системы 100. Данные, связанные с заданием точек географической привязки и настройкой параметров, подлежащих использованию различными компонентами системы 100, могут приниматься системой 100 как поддерживающие данные 116.

[0054] Транспортное средство 106 может включать в себя различные органы управления, например автопилот (например, если транспортное средство 106 является воздушным транспортным средством), дистанционный приемник и т.д., обозначенные в общем как контроллеры 118 транспортного средства, и различные датчики, например, датчики полета, датчики температуры и т.д., и различные системы формирования изображения, например, фото- или видеокамеры, IR датчики и т.д., обозначенные в общем как датчики 120 транспортного средства.

[0055] Блок 102 формирования трехмерной модели может принимать изображения 104, захваченные транспортным средством 106, и формировать, на основании телеметрических данных 110, изображения 104 и дополнительную информацию (например, информацию конфигурации, относящуюся к транспортному средству 106 и т.д.), трехмерную (или двух с половиной-мерную) модель с географической привязкой, которая включает в себя траекторию 108 транспортного средства и объекты 122 на траектории 108 транспортного средства. Трехмерную модель с географической привязкой можно использовать для дополнительной формирования ортофотоплана, который включает в себя траекторию 108 транспортного средства, карты высот (т.е. карты высот изображений которые представляют карты высот для множества изображений 104) и данные совмещения GPS изображений (т.е. данные для преобразования локальных координат изображения и соответствующей высоты в координаты GPS и для преобразования координат GPS и высоты в локальные координаты изображения), связанные с исходными изображениями 104.

[0056] Блок 124 распознавания объектов может принимать изображения 104, соответствующие карты высот для изображений 104, данные совмещения GPS изображений, телеметрические данные 110 и данные приблизительного GPS-положения инфраструктуры (т.е. заданную информацию, относящуюся к траектории 108 транспортного средства и инфраструктурным объектам на траектории 108 транспортного средства). Данные приблизительного GPS-положения инфраструктуры могут быть в общем включены в поддерживающие данные 116, которые могут включать в себя, например, карты объектов, обучающие данные, информацию конфигурации и т.д.

[0057] Блок 126 обнаружения объектов блока 124 распознавания объектов может обнаруживать, на основании изображений 104, соответствующие карты высот для изображений 104, данные совмещения GPS изображений, телеметрические данные 110 и данные приблизительного GPS-положения инфраструктуры, объекты в изображениях 104 и положения (например, GPS-положения) объектов на основании данных совмещения GPS изображений. Кроме того, блок 126 обнаружения объектов может формировать, на основании изображений 104, соответствующие карты высот для изображений 104, данные совмещения GPS изображений, телеметрические данные 110 и данные приблизительного GPS-положения инфраструктуры, маски изображения, связанные с изображениями 104.

[0058] Блок 128 консолидации области объекта блока 124 распознавания объектов может консолидировать положения одних и тех же инфраструктурных объектов, обнаруженных в различных изображениях 104 для определения консолидированных положений для одних и тех же инфраструктурных объектов. Блок 128 консолидации области объекта может задавать области (т.е. области для последующего анализа), на основании консолидированных положений для одних и тех же инфраструктурных объектов, и определять маски объектов областей, карты высот областей и данные совмещения GPS областей (данные для преобразования локальных координат области в координаты GPS и обратно).

[0059] Блок 130 реконструкции трехмерной кривой может принимать маски изображения заданных типов объектов (например, линий электропередачи) и данные совмещения GPS изображений для реконструкции трехмерной (или двух с половиной-мерной) модели заданных типов объектов и формировать параметризованное представление заданных типов объектов. Параметризованное представление можно выводить из координат изображения одних и тех же линий или кривых, которые были идентифицированы в различных изображениях, на основании пересечения поверхностей, определенных положениями обнаруженных объектов в плоскостях изображений и соответствующих камер транспортного средства 106, или камерой транспортного средства 106, которая используется в различных положениях на траектории 108 транспортного средства для захвата изображений 104.

[0060] Блок 132 анализа рисков может использовать маски объектов областей, карты высот областей, данные совмещения GPS областей, параметризованное представление заданных типов объектов и инфраструктурные правила (например, от клиентских систем 134) для обнаружения рисков, связанных с объектами, путем определения, нарушены ли инфраструктурные правила. Блок анализа рисков может формировать маски риска (т.е. маски для областей рисковых объектов в системах координат областей). Блок 132 анализа рисков может использовать предыдущие данные 136, связанные с предыдущими заданиями контроля и анализа состояния, осуществляемыми системой 100 и/или другими системами от клиентских систем 134, и обратную связь 138, например, от пользователей системы 100 и/или других систем для определения, правильно ли идентифицирован обнаружен риск, связанный с объектом. Обратная связь 138 может приниматься от клиентского пользовательского интерфейса 140.

[0061] Блок 142 консолидации рисков может использовать маски риска и данные совмещения GPS областей для объединения рисков одного и того же типа, расположенных в различных областях в одном и том же GPS-положении, например, для формирования списков рисков и параметров для различных типов рисков.

[0062] Пользователь системы 100 может использовать дисплей клиентского пользовательского интерфейса клиентского пользовательского интерфейса 140 для просмотра и взаимодействия со списками рисков разных типов, ортофотопланом и картографическими представлениями объектов 122, которые можно выводить из масок риска в ходе переноса данных на клиентский пользовательский интерфейс. Списки рисков разных типов, ортофотоплан и картографические представления объектов можно пересылать на клиентский пользовательский интерфейс 140 как часть данных состояния инфраструктуры 144.

[0063] Система 100 обнаружения состояния с использованием обработки изображений - общее выполнение

[0064] Фиг. 2 иллюстрирует общее выполнение для системы 100, согласно примеру настоящего изобретения.

[0065] Согласно фиг. 2, в отношении общего выполнения для системы 100, на блоке 200, данные можно собирать от датчиков 120 транспортного средства, на блоке 202, данные можно собирать от клиентских систем 134, и на блоке 204, можно собирать поддерживающие данные (например, поддерживающие данные 116, включающие в себя данные привязки к GPS), подготовленные пользователем.

[0066] Данные от блоков 200, 202 и 204 могут делиться на фрагменты на блоке 206 на основании карты инфраструктурных объектов, таким образом, что каждый фрагмент начинается и заканчивается инфраструктурным объектом, который помечен как точка разделения фрагментов.

[0067] Для каждого из фрагментов, на блоке 208, блок 102 формирования трехмерной модели может быть реализован для формирования трехмерной модели с географической привязкой. Трехмерная модель с географической привязкой может включать в себя трехмерные детали траектории 108 транспортного средства и объектов 122, необходимых для формирования ортофотоплана. Блок 102 формирования трехмерной модели может обрабатывать каждый из фрагментов для совмещения изображений 104, и формировать трехмерную модель на основании совмещения, экспортировать ортофотоплан, и экспортировать карты высот изображений и данные совмещения GPS изображений.

[0068] На блоке 210, блок 124 распознавания объектов (т.е. блок 126 обнаружения объектов блока 124 распознавания объектов) может быть реализован для обнаружения объекта в изображениях 104, и положений (например, GPS-положений) объекта на основании данных совмещения GPS изображений. Кроме того, на блоке 210, блок 124 распознавания объектов может быть реализован для формирования масок изображения, связанных с изображениями 104. Кроме того, на блоке 210, блок 128 консолидации области объекта блока 124 распознавания объектов может консолидировать положения одних и тех же инфраструктурных объектов, обнаруженных в различных изображениях 104 для определения консолидированных положений для одних и тех же инфраструктурных объектов, устанавливать области вокруг консолидированных положений, и строить консолидированные маски объектов областей.

[0069] На блоке 212, для каждого области блок 130 реконструкции трехмерной кривой может быть реализован для формирования параметризованного представления заданных типов объектов.

[0070] На блоке 214, блок 132 анализа рисков может использовать маски объектов областей, карты высот областей, данные совмещения GPS областей, параметризованное представление заданных типов объектов и инфраструктурные правила (например, от клиентских систем 134) для обнаружения рисков, связанных с объектами, путем определения, нарушены ли инфраструктурные правила.

[0071] На блоке 216, блок 142 консолидации рисков может использовать маски риска и данные совмещения GPS областей из всех фрагментов для объединения рисков одного и того же типа, расположенных в различных областях в одном и том же GPS-положении, например, для формирования списков рисков и параметров для различных типов рисков, например, для всей контролируемой области.

[0072] На блоке 218, результаты анализа от блоков 200-216 могут переноситься на клиентский пользовательский интерфейс 140.

[0073] Система 100 обнаружения состояния с использованием обработки изображений - разделение данных на фрагменты

[0074] Фиг. 3 иллюстрирует разделение данных на фрагменты для системы 100, согласно примеру настоящего изобретения.

[0075] В примере контроля линейных инфраструктурных объектов, система 100 может делить область полет транспортного средства 106 на фрагменты на основании данных приблизительного GPS-положения инфраструктуры и телеметрических данных, например, журнала полета транспортного средства. Для примера воздушного контроля опор, данные приблизительного GPS-положения инфраструктуры (например, см. фиг. 7) можно представить как список опор, с идентификацией (ID) опоры, типом конструкции опоры (например, высоковольтной для одноконтурной трехфазной линии передачи и т.д.), оцененным GPS-положением (например, долготой и широтой) опоры, оцененной высотой опоры для каждой опоры, и список отрезков линии электропередачи, с ID двух концевых опор и количеством линий электропередачи для каждого отрезка. Журнал полета транспортного средства может включать в себя, например, имя, метку времени, GPS-положение (например, долготу и широту), высоту и ориентацию камеры (например, тангаж, крен и курс) для каждого изображения из изображений 104, полученных транспортным средством 106. Журнал полета транспортного средства может формироваться оператором полета, связанным с блоком 112 управления заданием транспортного средства 106. Система 100 может определять положение изображений, захваченных вблизи поворотных точек инфраструктуры (например, опоры для контроля линий электропередачи или поворотной точки нефтяной трубы для контроля нефтепроводов), или вблизи отрезков линии между двумя последовательными поворотными точками инфраструктуры, на основании журнала полета транспортного средства. Система 100 может делить изображения на фрагменты таким образом, что каждый фрагмент начинается и заканчивается единичной точкой инфраструктурного объекта, которая помечена как точка разделения фрагментов или является концевой точкой контролируемой инфраструктуры. Например, согласно фиг. 3, точка разделения фрагментов проиллюстрирована как поворотная точка 300 инфраструктурного объекта. Изображения 104, которые располагаются недалеко от поворотных точек инфраструктуры или от отрезков линии между двумя последовательными поворотными точками инфраструктуры можно отбрасывать, поскольку они не включают в себя контролируемую область.

[0076] Блок 102 формирования трехмерной модели - поток данных

[0077] Фиг. 4 иллюстрирует поток данных для блока 102 формирования трехмерной модели системы 100, согласно примеру настоящего изобретения.

[0078] Согласно фиг. 1 и 4, как описано здесь, блок 102 формирования трехмерной модели может принимать входные сигналы, которые включают в себя изображения 104, телеметрические данные 110, включающий в себя журнал полета и данные 402 привязки к GPS. Данные 402 привязки к GPS могут приниматься от блока 404 отображения географической привязки. Изображения 104 могут представлять исходные изображения, полученные транспортным средством 106, например, при полете транспортного средства 106. Формат изображений 104 может включать в себя, например, jpg и другие подобные форматы. Данные 402 привязки к GPS могут включать в себя, например, GPS-положение, высоту, имя изображения и положение пикселя для каждого GCP. Формат данных 402 привязки к GPS может включать в себя, например,.xml и другие подобные форматы.

[0079] Различные аспекты блока 102 формирования трехмерной модели можно реализовать, например, путем использования автоматизации инструментов трехмерной реконструкции и/или путем использования C++ и т.д. Блок 102 формирования трехмерной модели может формировать трехмерную модель с географической привязкой для каждого фрагмента из фрагментов, причем трехмерную модель с географической привязкой можно использовать для получения необходимых выходных данных для других компонентов системы 100, как описано здесь.

[0080] В отношении фрагментов, каждый из фрагментов можно обрабатывать для загрузки изображений 104 и телеметрических данных 110, совмещения изображений 104 и добавления GCP. Каждый из фрагментов также можно обрабатывать для формирования трехмерной модели, на основании изображений и их совмещения. Для каждого фрагмента, можно формировать ортофотоплан и карты высот с использованием трехмерной модели.

[0081] Согласно фиг. 1 и 4, выходные сигналы блока 102 формирования трехмерной модели, как описано здесь, могут включать в себя ортофотоплан 406, данные 408 совмещения GPS изображений и карты 410 высот изображений.

[0082] Ортофотоплан 406 может формироваться для каждого фрагмента из фрагментов, для визуального представления соответствующей области и объектов, рисков и т.д.

[0083] Данные 408 совмещения GPS изображений могут формироваться для каждого из изображений 104 и включают в себя необходимые матрицы и коэффициенты для проекций GPS-в-пиксель и пиксель-в-GPS. Согласно примерам, данные 408 совмещения GPS изображений могут включать в себя значения f_x (горизонтальное фокусное расстояние камеры в пикселях), f_y (вертикальное фокусное расстояние камеры в пикселях), c_x (отрегулированное горизонтальное положение центральной точки в пикселях), c_y (отрегулированное вертикальное положение центральной точки в пикселях) и коэффициенты коррекции радиального искажения k₁, k₂, k₃, k₄, k₅, k₆, p₁ и p₂, которые можно использовать после других преобразований координат в нижеследующих уравнениях:

уравнение (1)

В уравнении (1), xʹ и yʹ могут представлять скорректированные координаты, и x и y может представлять исходные координаты в системе координат изображения. Данные 408 совмещения GPS изображений могут включать в себя значения для преобразования координат камеры в локальные координаты трехмерной модели, представленного, например, в матрице 4×4 поворота-переноса-масштабирования C. Данные 408 совмещения GPS изображений могут включать в себя значения для преобразования локальных координат трехмерной модели в геоцентрические привязанные к Земле (ECEF) координаты, представленного, например, в другой матрице 4×4 поворота-переноса-масштабирования L. Данные 408 совмещения GPS изображений могут включать в себя значения X₀, Y₀ и Z₀ для ECEF- положения камеры транспортного средства 106 при получении изображения камерой транспортного средства 106. Значения можно использовать в последующем анализе для преобразования координат GPS (широты, долготы) и высоты (высоты над уровнем моря в мировой геодезической системе 1984 (WGS84)) в координаты пикселя (x, y) и для преобразования координат пикселя (x, y) и высоты для соответствующего пикселя в координаты GPS (широту, долготу). Для получения координат пикселя для положения по GPS (широты, долготы) и высоты, можно использовать следующую систему уравнений:

уравнение (2)

В уравнении (2), a может представлять большую полуось референц-эллипсоида Земли GPS, 1/f может представлять обратную величину сплюснутости референц-эллипсоида Земли GPS, и b может представлять малую полуось референц-эллипсоида Земли GPS.

уравнение (3)

В уравнении (3), e² может представлять первый квадрат эксцентриситета референц-эллипсоида Земли GPS.

уравнение (4)

В уравнении (4), может представлять исходную координату широты в радианах, и N( может представлять расстояние от поверхности до оси Z по нормали к эллипсоиду. Затем преобразуемые привязанные к Земле (ECEF) координаты X_e, Y_e и Z_e точки можно определить следующим образом:

уравнение (5)

уравнение (6)

уравнение (7)

Для уравнений (5) -(7), может представлять долготу в радианах, и h может представлять высоту. Затем координаты X_c, Y_c и Z_c в системе координат, привязанной к камере, можно вывести следующим образом:

уравнение (8)

Затем координаты изображения x и y можно вывести следующим образом:

уравнение (9)

уравнение (10)

Для получения координат GPS из координат пикселя x, y и соответствующей высоты h для пикселя, можно определить точку пересечения референц-эллипсоида Земли со значением добавленной высоты и линии, соединяющей положение камеры и пиксель в плоскости изображения. для определения уравнения этой линии в системе координат ECEF, можно определить случайную точку на линии, отличную от положения камеры. Затем координаты случайной точки X_c, Y_c и Z_c в системе координат, привязанной к камере, можно вывести следующим образом:

уравнение (11)

Для дополнительного получения координат ECEF X_e, Y_e и Z_e, можно применять следующее уравнение:

уравнение (12)

Затем вектор направления линии V=[V_x, V_y, V_z] можно извлечь как разность вектора координат случайной точки [X_e, Y_e, Z_e] и вектора координат точки камеры [X₀, Y₀, Z₀]. Тогда референц-эллипсоид Земли с добавленной высотой может включать в себя большую полуось a_h и малую полуось b_h, определенные следующим образом:

уравнение (13)

уравнение (14)

Для определения пересечения линии, на которой лежит содержание пикселя в координатах ECEF реального мира, и референц-эллипсоида Земли с добавленной высотой, можно решить следующее уравнение:

уравнение (15)

В уравнении (15), t может представлять желаемый коэффициент вектора направления для определения точки пересечения, и коэффициенты уравнения a_t, b_t и c_t можно определить следующим образом:

уравнение (16)

уравнение (17)

уравнение (18)

Для определения значения t, дискриминант D уравнения (15) можно определить следующим образом:

уравнение (19)

В случае, когда дискриминант больше или равен нулю, два возможных значения для t (t₁, t₂) можно определить следующим образом:

уравнение (20)

Результирующая координата пересечения является ближайшей к камере, и, таким образом, меньшее абсолютное значение для t (t₁, если |t₁|<=|t₂|, и t₂, если |t₂|<|t₁|) можно рассматривать для определения желаемой точки [X₁, Y₁, Z₁] в системе координат ECEF следующим образом:

уравнение (21)

Результирующие широту и долготу можно определить следующим образом:

уравнение (22)

уравнение (23)

В уравнении (23), ep² может представлять квадрат второго эксцентриситета, и th может представлять дополнительное значение:

уравнение (24)

. Уравнение (25)

[0084] Карты 410 высот изображений можно формировать для каждого изображения из изображений 104. Согласно примерам, для карт 410 высот изображений, каждое 32-битовое пиксельное значение может представлять высоту над уровнем моря для соответствующего положения пикселя исходного изображения из изображений 104.

[0085] Ортофотоплан 406 и данные 408 совмещения GPS изображений можно пересылать на клиентский пользовательский интерфейс 140, данные 408 совмещения GPS изображений можно пересылать на блок 130 реконструкции трехмерной кривой, и данные 408 совмещения GPS изображений и карты 410 высот изображений можно пересылать на блок 124 распознавания объектов.

[0086] Блок 102 формирования трехмерной модели - совмещение изображений

[0087] Блок 102 формирования трехмерной модели может выравнивать изображения 104 для определения положений и параметров калибровки их соответствующих камер (например, виртуальной модели реальной камеры, которая использовалась для получения исходных изображений 104) в локальной системе координат трехмерной модели. На этой стадии, блок 102 формирования трехмерной модели может искать интересующие точки в каждом изображении. Блок 102 формирования трехмерной модели может согласовывать интересующие точки, положение которых определено из различных изображений, чтобы гарантировать, какие интересующие точки из различных изображений представляют одну и ту же точку на поверхности реального мира. Для каждой пары изображений с достаточным количеством согласованных точек, можно определить фундаментальную матрицу (например, матрицу 3×3, которая относится к соответствующим пикселям). На основании фундаментальных матриц, координаты камер изображений, плоскости изображений и интересующих точек в пространстве трехмерной модели можно определить, например, методом определения структуры объекта по отображению движения (SFM). В отношении SFM, в инкрементном SFM, положения камеры можно определять и добавлять в коллекцию по одному. В глобальном SFM можно определять положения камеры всех камер одновременно. Промежуточный подход может включать в себя внеядерный SFM, где несколько частичных реконструкций можно определить и затем объединить в глобальное решение. В случае, если расчетные лучи от камер к центру соответствующих плоскостей изображений включают в себя большое отклонение от перпендикуляра к вероятной поверхности реального мира, эти изображения можно отфильтровывать или повторно выравнивать.

[0088] Соотношение локальной системы координат трехмерной модели с геоцентрической системой координат можно определить путем применения информации GPS-положения камеры во время получения каждого изображения 104 из телеметрических данных 110, и минимизации результирующей ошибки в расстояниях.

[0089] Блок 102 формирования трехмерной модели - привязка к GPS/географическая привязка

[0090] Точность соотношения между локальной системой координат трехмерной модели и геоцентрической системой координат можно повысить путем введения данных привязки к GPS, которые включают в себя список точек географической привязки. Каждая точка географической привязки может включать в себя положение единичной точки в системе координат реального мира (т.е. данные GPS (например, широту и долготу) и высоту) и соответствующее положение в одном или более изображениях (т.е. имя изображения, координаты x и y в системе координат изображения). Точные координаты реального мира можно получать в местоположении в реальном мире путем использования соответствующего оборудования или на основании точных спутниковых изображений с географической привязкой. Фиг. 5 иллюстрирует пример подготовки данных привязки к GPS, подлежащих использованию, в блоке 102 формирования трехмерной модели с использованием спутниковых данных, согласно примеру настоящего изобретения.

[0091] Согласно фиг. 1 и 5, блок отображения в отношении привязка к GPS и географической привязки может включать в себя блок 500 просмотра карты, который отображает спутниковую карту, и блок 502 просмотра изображений, который отображает текущее выбранное изображение. GCP из блока отображения карты блока 500 просмотра карты может отображаться в изображении, отображаемом на блоке 502 просмотра изображений, и в списке GCP на 504. Различные изображения могут отображаться на блоке 502 просмотра изображений, например, путем использования инструмента 506 выбора изображения. Список GCP на 504 может включать в себя все добавленные и существующие GCP. Все поля можно редактировать в блоке 500 просмотра карты и в блоке 502 просмотра изображений, например, двойным щелчком по ID опорного изображения (например ʺIMG_1200ʺ в примере, приведенном на фиг. 5) для активации опорного изображения.

[0092] В отношении блока 500 просмотра карты и/или блока 502 просмотра изображений, можно добавлять новую GCP, и/или можно изменять опорное положение пикселя существующей GCP одиночным щелчком в любом положении пикселя. Таким образом, одиночный щелчок по изображению может создавать новую GCP, и добавлять новую GCP в конец списка GCP на 504.

[0093] В отношении блока 500 просмотра карты, спутниковые карты (т.е. доступные онлайновые спутниковые карты) могут отображаться с центральной точкой, обновленной до активного изображения (т.е. изображение, отображаемое на блоке 502 просмотра изображений), когда активное изображение изменяется, если данные совмещения GPS этого изображения поступают от блока 102 формирования трехмерной модели, на основании журнала полета. Добавляемые на данный момент и/или существующие метки GCP могут быть показаны, например, как цветные метки на карте, и положения привязки к GPS можно изменять, перетаскивая метки GCP.

[0094] В отношении изменения GCP в списке GCP на 504, все поля можно редактировать при необходимости, и изменения опорных положений могут отражаться в активном изображении на блоке 502 просмотра изображений и блоке 500 просмотра карты соответственно. Опорное положение пикселя можно изменять, выбирая новое положение на изображении, или положение привязки к GPS можно изменять, перетаскивая метку GCP на активном изображении блока 502 просмотра изображений.

[0095] В отношении удаления GCP, в виде для списка GCP на 504, любую существующую GCP можно удалить, например, выбирая соответствующую метку X.

[0096] Блок 102 формирования трехмерной модели - реконструкция трехмерной модели

[0097] Блок 102 формирования трехмерной модели может использовать исходные изображения 104 и соответствующие данные совмещения изображений для построения плотного множества точек. Плотное множество точек можно описать как множество точек в локальной системе координат трехмерной модели с большим количеством таких точек. Каждая точка в плотном множестве точек может представлять точку на поверхности реального мира, реконструированную из аналогичных пикселей в нескольких выровненных друг с другом изображениях. Точки, удаленные от своих соседей, можно рассматривать как выбросы и выбрасывать из будущих анализов.

[0098] Блок 102 формирования трехмерной модели может использовать плотное множество для построения трехмерной сетки. Сетку можно описать как набор вершин, ребер и граней, которые задают форму многогранного объекта. Блок 102 формирования трехмерной модели может выбирать соседние точки из плотного множества в качестве вершин сетки и формировать ребра и грани. Положения вершин можно изменять для сглаживания результирующей формы. Сетка с положениями и параметрами калибровки камер может формировать желаемую трехмерную модель контролируемой области.

[0099] Блок 102 формирования трехмерной модели - формирование ортофотоплана

[0100] Как описано здесь, блок 102 формирования трехмерной модели может принимать изображения 104, захваченные транспортным средством 106, и формировать, на основании телеметрических данных 110, изображения 104 и дополнительную информацию (например, информацию конфигурации, относящуюся к транспортному средству 106 и т.д.), трехмерную (или двух с половиной-мерную) модель с географической привязкой, которая включает в себя траекторию 108 транспортного средства и объекты 122 на траектории 108 транспортного средства. Трехмерную модель с географической привязкой можно использовать для дополнительной формирования ортофотоплана 406 на основании трехмерной сетки, изображений 104 и данных совмещения GPS изображений. Для каждой грани в сетке, можно определять изображения (из изображений 104), в которых можно видеть грань, и грань можно проецировать на эти плоскости изображений. С использованием проекций, можно определить текстуру (например, информацию цвета) для каждой из граней. Для формирования ортофотоплана, всю сетку, обогащенную текстурной информацией, можно проецировать на виртуальную гладкую поверхность Земли и сохранять в стандартном формате, позволяющем хранить информацию привязки к GPS, например, GOOGLE KMZ или TIFF с географической привязкой.

[0101] Блок 102 формирования трехмерной модели - формирование карт высот

[0102] Фиг. 6 иллюстрирует формирование карт высот для блока 102 формирования трехмерной модели, согласно примеру настоящего изобретения.

[0103] Согласно фиг. 1 и 6, блок 102 формирования трехмерной модели может формировать карты высот. В отношении формирования карт высот, карту глубин можно описать как представление изображения, где каждое пиксельное значение для точки изображения (X₀, Y₀) на 600 является расстоянием от положения 604 камеры до соответствующей точки трехмерной поверхности для (X₀, Y₀) на 602. В этом случае, карта глубин может формироваться, например, в 32-битовом формате TIF, и значения расстояния могут указываться в локальной трехмерной системе координат приложения. До преобразования, карту глубин можно масштабировать до меньшего размера для пространственного преобразования, если масштабный коэффициент обеспечивается в качестве входного параметра.

[0104] В отношении формирования карт высот, карта высот может включать в себя представление изображения, где каждое пиксельное значение для точки изображения (X₀, Y₀) на 600 является высотой над уровнем моря в мировой геодезической системе 1984 (WGS84). Блок 102 формирования трехмерной модели может использовать данные карты глубин и данные совмещения GPS изображений, и применять преобразования для каждой точки пикселя в данной карте глубин. Преобразования могут включать в себя преобразование точки изображения (X₀, Y₀) на 600 в карте глубин в соответствующую точку трехмерной поверхности для (X₀, Y₀) на 602, преобразование соответствующей точки трехмерной поверхности для (X₀, Y₀) 602 в локальной трехмерной системе координат в точку геоцентрической ECEF и преобразование точки геоцентрической ECEF в точку WGS84. Значение высоты от определенной точки WGS84 может храниться в окончательной карте высот для каждого пикселя.

[0105] Блок 124 распознавания объектов - поток данных

[0106] Фиг. 7 иллюстрирует поток данных для блока 124 распознавания объектов системы 100, согласно примеру настоящего изобретения.

[0107] Согласно фиг. 7, в отношении потока данных, связанного с блоком 124 распознавания объектов, блок 124 распознавания объектов может анализировать изображения 104, телеметрические данные 110, данные 716 приблизительного GPS-положения инфраструктуры, данные 408 совмещения GPS изображений и карты 410 высот изображений для формирования оцененного уровня 700 высоты земли изображений для каждого изображения из изображений 104, данные 702 точного GPS-положения инфраструктуры, маски 704 линий электропередачи изображений, данные 706 совмещения GPS областей, маски 708 объектов областей, маску 710 земли областей, карту 712 высот областей и пространственное разрешение 714 областей. Оцененный уровень 700 высоты земли изображений можно пересылать на клиентский пользовательский интерфейс 140. Данные 702 точного GPS-положения инфраструктуры и пространственное разрешение 714 областей можно пересылать на блок 142 консолидации рисков. Данные 702 GPS-положения инфраструктуры, маски 704 линий электропередачи изображений и данные 706 совмещения GPS областей можно пересылать на блок 130 реконструкции трехмерной кривой. Кроме того, данные 706 совмещения GPS областей, маски 708 объектов областей, маску 710 земли областей, карту 712 высот областей и пространственное разрешение 714 областей можно пересылать на блок 132 анализа рисков.

[0108] Оцененный уровень 700 высоты земли изображений может включать в себя, например, однострочный текст, включающий в себя вектор высот (над уровнем моря), где 1-е значение является уровнем высоты земли для всего изображения, значения со 2-го по 5-е являются уровнями высоты земли, определенными для каждого квадранта изображения, и 6-е значение относится к центральному квадранту изображения.

[0109] Данные 702 GPS-положения инфраструктуры могут включать в себя данные точного GPS-положения инфраструктуры для инфраструктурных объектов (например, опор для электрических сетей, и т.д.).

[0110] Маски 704 линий электропередачи изображений могут представлять маски для заданных типов объектов (например, линий электропередачи). Например, блок 130 реконструкции трехмерной кривой может использовать маску линий электропередачи для реконструкции трехмерной (или двух с половиной-мерной) модели линий электропередачи, и формировать их параметризованное представление.

[0111] Маска 710 земли областей может формироваться для каждой области из областей. Согласно примерам, для маски 710 земли областей, каждое пиксельное значение может указывать, классифицируется ли соответствующее положение пикселя области как точка земли (например, 0=земля, 255=не земля).

[0112] Пространственное разрешение 714 областей может представлять пространственное разрешение (см/пиксель) для областей.

[0113] Система 100 обнаружения состояния с использованием обработки изображений - область контроля линейных инфраструктурных объектов

[0114] Фиг. 8 иллюстрирует область 800 линейных инфраструктурных объектов, которые подлежат контролю системой 100, согласно примеру настоящего изобретения.

[0115] Согласно фиг. 8, область 800 контроля линейных инфраструктурных объектов может включать в себя область 802 линии электропередачи, которая представляет область, охватывающую линии электропередачи. Свободный RoW (свободный коридор) 804 может представлять область вдоль линейного инфраструктурного объекта, которая фактически свободна от растительности и/или антропогенных объектов. RoW (коридор) 806 может представлять область вдоль линейного инфраструктурного объекта, которая должна быть свободна от растительности и/или объектов согласно промышленным стандартам клиента. ROI (интересующая область) 808 может представлять область для анализа системой 100. ROI 808 можно задавать более широкой, чем RoW 806, например, она может быть опасна, когда высоты деревьев больше расстояния до линий электропередачи.

[0116] Блок 124 распознавания объектов - общие реализация и выполнение

[0117] Фиг. 9 иллюстрирует общие реализацию и выполнение для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0118] Согласно фиг. 1, 7 и 9, блок 124 распознавания объектов может принимать входные сигналы, которые включают в себя изображения 104, телеметрические данные 110, данные 716 приблизительного GPS-положения инфраструктуры, данные 408 совмещения GPS изображений и карты 410 высот изображений.

[0119] Для каждого из изображений 104, блок 124 распознавания объектов может осуществлять классификацию 900 земли для классификации каждой точки изображения как землю или нет. Кроме того, для каждого из изображений 104, для каждого типа 902 инфраструктурного объекта, блок 126 обнаружения объектов блока 124 распознавания объектов может осуществлять обнаружение инфраструктурных объектов (например, для опор, линий электропередачи и т.д.) на 904.

[0120] Блок 128 консолидации области а объекта может консолидировать результаты обнаружения из нескольких соседних (согласно в координатам GPS) изображений, включенных в текущую область, и сохранять положения инфраструктурных объектов на 906.

[0121] Для каждого из изображений 104, для каждого типа неинфраструктурного объекта 908, блок 126 обнаружения объектов блока 124 распознавания объектов может осуществлять обнаружение неинфраструктурных объектов (например, для растительности, антропогенных объектов и т.д.) на 910.

[0122] Блок 128 консолидации области объекта блока 124 распознавания объектов может осуществлять консолидацию изображений в области на 912 для консолидации результатов распознавания изображения в областях.

[0123] Как описано здесь со ссылкой на фиг. 7, блок 124 распознавания объектов может выводить оцененный уровень 700 высоты земли изображений, данные 702 GPS-положения инфраструктуры, маски 704 линий электропередачи изображений, данные 706 совмещения GPS областей, маски 708 объектов областей, маску 710 земли областей, карту 712 высот областей и пространственное разрешение 714 областей.

[0124] Различные аспекты блока 124 распознавания объектов можно реализовать, например, путем использования C++, и реализовать как исполнимый модуль из основных скриптов PYTHON для каждого из фрагментов. Для каждого из изображений 104, блок 128 консолидации области объекта может консолидировать и сохранять положения инфраструктурных объектов. Для примера воздушного контроля опор, для каждого из изображений 104, блок 128 консолидации области объекта может консолидировать и сохранять положения опор. Блок 124 распознавания объектов может группировать изображения 104 в области, где каждая область начинается и заканчивается инфраструктурным объектом (например, опорой). После идентификации областей блок 124 распознавания объектов может обнаруживать неинфраструктурные объекты в изображениях, консолидировать результаты распознавания изображений внутри каждой области, и сохранять консолидированные результаты обнаружения в маски для каждой из областей. Для примера воздушного контроля опор, примеры классов в выходных масках распознавания изображения, сформированных блоком 124 распознавания объектов, может включать в себя интересующую область (ROI), опору, линии электропередачи, растительность, объект и землю. Блок 124 распознавания объектов может преобразовывать (например, отображать) данные, зависящие от изображения в данные, зависящие от области (т.е. карты высот и данные совмещения). Маски изображения можно консолидировать в маски области для формирования выходных сигналов, относящихся к блоку 124 распознавания объектов.

[0125] Маски 708 объектов областей могут формироваться для каждой из областей. Для примера воздушного контроля опор, размер маски области может зависеть от расстояния, покрытого между опорами с обеих сторон области, и количества опор внутри области. Для примера воздушного контроля линейных инфраструктурных объектов, например, для энергетики, согласно примеру, каждый результат классификации можно назначать биту в каждом 8-битовом пиксельном значении следующим образом:

неопределенная область=0 (0000 0000 в двоичной системе)

земля=2 (0000 0010)

область линии=4 (0000 0100)

интересующая область=8 (0000 1000)

антропогенный объект=16 (0001 0000)

растительность=32 (0010 0000)

опора=64 (0100 0000)

сама линия электропередачи=128 (1000 0000)

[0126] Карты 712 высот областей могут включать в себя примерно такой же формат, как карты 410 высот изображений, сформированные блоком 102 формирования трехмерной модели. Карты 712 высот областей можно формировать для каждой области, а не для каждого изображения, как карты 410 высот изображений, формируемые блоком 102 формирования трехмерной модели. Для карт 712 высот областей, данные для каждой области можно логически консолидировать по областям. Для примера воздушного контроля опор, размер карт 712 высот областей может зависеть от размера текущей области.

[0127] Для примера воздушного контроля опор, для каждой обнаруженной опоры, выходной отчет, сформированный блоком 124 распознавания объектов, может дополнительно включать в себя ID опора, тип опоры и консолидированное положение опоры (например, GPS (долготу и широту) и высоту). Выходной отчет также может включать в себя углы наклона опоры и угол поворота линий электропередачи.

[0128] Маски распознавания изображения могут включать в себя тот же формат, что и маски области, но могут быть реализованы для каждого изображения из изображений 104. Маска свободного коридора может формироваться для каждой из областей, и каждое ненулевое пиксельное значение может относиться к свободной от растительности точке в коридоре.

[0129] Для примера воздушного контроля опор, блок 124 распознавания объектов может использовать заданную информацию о приблизительных положениях инфраструктурных объектов для обнаружения опор. Методы машинного обучения, например, система полностью контролируемого обучения (классификаторы, например, нейронные сети, сверточные нейронные сети, случайные леса, методы машины опорных векторов, методы разгона, алгоритм k ближайших соседей и т.д.), можно использовать для распознавания изображений для обнаружения объектов. Различные методы машинного обучения можно использовать для различных типов объектов. Для примера воздушного контроля опор, согласно примеру настоящего изобретения, параметры 1304 классификаторов (или параметры других методов машинного обучения) можно задать для каждого классификатора (или другого метода машинного обучения) в соответствующих файлах. Для облегчения распознавания объектов, можно использовать заданную информацию (например, положения инфраструктурных объектов, результаты и данные предыдущего контроля и т.д.), например, для сужения области поиска. Для каждого из изображений 104, если определено положение ближайшего инфраструктурного объекта, может загружаться соответствующее изображение, и удаление теней может осуществляться до обнаружения объекта. Для каждого из изображений 104, для обнаружения объекта в изображении, сравнительно малую область поиска объекта можно идентифицировать в изображении на основании предполагаемой проекции пикселя оцененного положения объекта по GPS, и блок 124 распознавания объектов может пытаться обнаруживать объект в этой области поиска. Для каждого из изображений 104, если положение объекта не определено, область поиска можно расширить (например, вдвое по сравнению с исходной областью поиска) в попытке определить положение объекта. Если положение объекта определено, результаты определения положения объекта можно сохраняет для дополнительной консолидации.

[0130] Блок 124 распознавания объектов может формировать области (например, путем группирования изображений 104 в области) на основании результатов обнаружения инфраструктурных объектов (например, результатов обнаружения опор). Распознавание можно применять только для областей, включающих в себя линейный инфраструктурный объект, все остальные области можно отфильтровывать. Для каждой из областей блок 124 распознавания объектов может идентифицировать, какое из изображений 104 принадлежит соответствующей области.

[0131] Для примера воздушного контроля линейных объектов энергетической инфраструктуры, в отношении формирования масок 708 объектов областей, для каждого изображения, которое принадлежит области, блок 124 распознавания объектов может обнаруживать линии электропередачи, сохранять маску линий электропередачи изображения и перетаскивать маску линий электропередачи на надлежащую одну из масок 708 объектов областей.

[0132] Для примера воздушного контроля линейных объектов энергетической инфраструктуры, в отношении формирования масок 708 объектов областей, для каждого изображения, которое принадлежит области, блок 124 распознавания объектов может обнаруживать антропогенные объекты и деревья (например, растительность), и перетаскивать обнаруженные объекты и деревья на надлежащую одну из масок 708 объектов областей.

[0133] Блок 124 распознавания объектов может отображать и добавлять карту высот изображения (из карт 410 высот изображений) в карту высот области (из карт 712 высот областей).

[0134] После обработки всех изображений 104, принадлежащих области, блок 124 распознавания объектов может осуществлять консолидацию изображений в области на 912. В отношении процесса добавления всех масок изображения в маску области, для любых конфликтов (например, обнаружения одного и того же пикселя как растительности, и как объекта), консолидацию маски области можно использовать для определения окончательного значения (типа) каждой маски области. Определение окончательного значения может базироваться, например, на взвешенном среднем результатов нескольких изображений.

[0135] В отношении формирования маски области, блок 124 распознавания объектов может сохранять маски 708 объектов областей и карты 712 высот областей.

[0136] Блок 124 распознавания объектов может использовать различные функции для обнаружения объекта на основании изменений окружающей среды, например, изменений, связанных с переходом от зимних условий к летним. Для различных условий можно использовать различные методы. Например, зимой можно использовать зимнюю функцию, в противном случае, можно использовать летнюю функцию.

[0137] Блок 124 распознавания объектов может осуществлять предобработку до распознавания (например, подавление теней, коррекции света для каждого из изображений 104 и т.д.).

[0138] Блок 124 распознавания объектов - классификация земли и формирование маски земли

[0139] Фиг. 10 иллюстрирует классификацию земли и формирование маски земли для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0140] Согласно фиг. 10, в отношении классификации земли и формирования маски земли (например, для маски 710 земли областей), блок 124 распознавания объектов может принимать карту 1000 высот изображения (из карт 410 высот изображений), и на блоке 1002, блок 124 распознавания объектов может оценивать уровень высоты земли для карты 1000 высот изображения. Например, классификацию земли можно реализовать следующим методом. На блоке 1004, блок 124 распознавания объектов может отмечать области, расположенные высоко над уровнем высоты земли. На блоке 1006, блок 124 распознавания объектов может отмечать области, которые не имеют информации высоты. На блоке 1008, блок 124 распознавания объектов может отмечать области между высокими положительными и отрицательными производными изображения высот, которое может представлять возможные высокие объекты в изображении. На блоке 1010, блок 124 распознавания объектов может исключать помеченные области из маски, покрывающей все изображение, и формировать маску 1012 земли изображения. Таким образом, помеченные области можно рассматривать как не землю, и не помеченные области можно рассматривать как землю.

[0141] Блок 124 распознавания объектов - оценивание уровня высоты земли

[0142] Фиг. 11 иллюстрирует оценивание уровня высоты земли для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0143] Согласно фиг. 11, в отношении оценивания уровня высоты земли (например, для оцененного уровня 700 высоты земли изображений), блок 124 распознавания объектов может принимать карту 1000 высот изображения (из карт 410 высот изображений). На блоке 1100, карта 1000 высот изображения может делиться, например, на шесть блоков: полную карту высот, четыре квадранта и центральный квадрант карты высот. На блоке 1102, для каждого блока карты высот, на блоке 1104, блок 124 распознавания объектов может определять уровни высоты земли для каждого блока 1-6 (например, как показано на 1106). На блоке 1108, блок 124 распознавания объектов может определять среднее значение уровней высоты земли блоков 1-6. На основании среднего значения уровней высоты земли блоков 1-6, блок 124 распознавания объектов может определять оцененный уровень 1110 высоты земли изображения.

[0144] Подготовка обучающих данных

[0145] Фиг. 12 иллюстрирует подготовку обучающих данных для системы 100, согласно примеру настоящего изобретения.

[0146] Согласно фиг. 12, в отношении подготовки обучающих данных, обучающие данные могут включать в себя файл обучающих данных для каждого классификатора, который подлежит использованию в целях распознавания объектов. В связи с этим, можно создавать модуль подготовки обучающих данных. Для примера воздушного контроля объектов, можно использовать систему полностью контролируемого обучения. Изображения, выбранные для создания обучающих данных, могут делиться на блоки определенного размера (или размеров). Каждый блок можно отмечать как связанный с некоторым типом объекта, например, блок может быть положительным, отрицательным или нейтральным согласно каждому типу объекта. На 1200, блоки, помеченные как положительные блоки (например, для обнаружения опор). На 1202, блок 124 распознавания объектов может идентифицировать блоки, которые можно отмечать как положительную или отрицательную выборку. Кроме того, на 1204, блок 124 распознавания объектов может идентифицировать блоки, помеченные как отрицательные блоки (например, для обнаружения опор, где такие блоки должны быть положительными для обнаружения растительности). Признаки каждого блока можно определить (например, с использованием описателя гистограммы ориентированных градиентов (HOG), описателя локальных двоичных шаблонов (LBP), методов мешка визуальных слов, описателей гистограммы цветов, описателя гистограммы обнаруженных углов или других текстурных признаков) после отметки блоков. Затем систему полностью контролируемого обучения можно обучать на этих данных, при этом результаты сохраняются в файлах с параметрами 1304 классификаторов. Процесс обучения может осуществляться по меньшей мере, один раз до обработки данных с обнаружением состояния с использованием решения на обработку изображений для обеспечения использования методов машинного обучения.

[0147] Блок 124 распознавания объектов (блок 126 обнаружения объектов) - обнаружение опор и формирование маски опор

[0148] Фиг. 13 иллюстрирует обнаружение опор и формирование маски опор для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0149] Для примера воздушного контроля опор, в отношении обнаружения опор и формирование маски опор блоком 124 распознавания объектов, блок 124 распознавания объектов может принимать изображения 104, и дополнительно принимать оцененное положение опоры в изображении 1300, оцененные углы 1302 направления линий электропередачи и параметры 1304 классификаторов. Блок 126 обнаружения объектов блока 124 распознавания объектов может обнаруживать центральную точку объекта (например, опору) в данном изображении, где оцененное положение объекта, оцененную ширину объекта, и, для примера воздушного контроля опор, другие аспекты, например, оцененные входящие и исходящие углы направления линии электропередачи известны (на основании приблизительных координат GPS опор). Кроме того, формирование маски для объекта может осуществляться на основании консолидации результатов обнаружения объекта из нескольких изображений.

[0150] На блоке 1306, блок 126 обнаружения объектов может определять область поиска на основании оцененного положения опоры в соответствующем изображении. Обнаружение может начинаться с определения, например, прямоугольной области поиска объекта внутри изображения. Размер области поиска может зависеть от направления линии, например, размер может быть равен 4×4 метра. Значение cmperpixel (т.е. см/пиксель) изображения можно использовать для получения размеров области поиска в пикселях, и остальная обработка может осуществляться внутри этой области поиска.

[0151] На блоке 1308, блок 126 обнаружения объектов может осуществлять предобработку изображения, например, путем преобразования изображения к серной шкале, удаления теней, коррекции света и т.д. Для различных сезонов или для обнаружения разных типов объектов можно использовать различную предобработку.

[0152] На блоке 1310, блок 126 обнаружения объектов может определять положение краев (например, для опор) внутри области поиска. В отношении обнаружения центральной точки инфраструктурного объекта, блок 126 обнаружения объектов может использовать обнаружение края или гребня и обнаружение линии для определения возможных линий и краев объекта согласно оцененным углам направления, и создавать вероятные инфраструктурные объекты на основании наиболее перекрывающихся возможных линий и краев объекта. В связи с этим, блок 126 обнаружения объектов может извлекать края, которые распознаются вдоль линии и направлений инфраструктурного объекта. Блок 126 обнаружения объектов может осуществлять, например, блок обнаружения Канни или Собеля для обнаружения краев, и относительно сильные края в пределах направления можно фиксировать как двоичное изображение края после пороговой бинаризации.

[0153] На блоке 1312, блок 126 обнаружения объектов может определять положение коротких прямых линий на основании краев с использованием таких методов, как, например, преобразование линий Хафа или обнаружение отрезка линии (LSD). В связи с этим, на основании данных краев, блок 126 обнаружения объектов может идентифицировать возможные линии электропередачи и края инфраструктурного объекта (например, опоры). Для примера воздушного контроля опор, в отношении идентификации возможных линий электропередачи и краев опоры, линии электропередачи и края опоры, предположительно, включают в себя прямые линии, где края опоры можно считать в общем перпендикулярными линиям электропередачи.

[0154] На блоке 1314, блок 126 обнаружения объектов может отфильтровывать линии, которые не параллельны направлению линий.

[0155] На блоке 1316, на основании фильтрации линий, которые не параллельны направлению линий, блок 126 обнаружения объектов может идентифицировать возможные линии электропередачи. Для примера воздушного контроля опор, в отношении обнаружения линий электропередачи, линии, которые отклоняются, самое большее, на d градусов (например, 6°) от оцененных входящих или исходящих углов линии электропередачи, можно отмечать как возможные линии электропередачи.

[0156] На блоке 1318, блок 126 обнаружения объектов может отфильтровывать линии, которые не перпендикулярны направлению линий.

[0157] На блоке 1320, на основании фильтрации линий, которые не перпендикулярны направлению линий, блок 126 обнаружения объектов может идентифицировать возможные края опоры. Для примера воздушного контроля опор, линии, которые находятся в пределах заданного отклонения (например, 90°±35°) от входящих или исходящих углов линии электропередачи, можно отмечать как возможные края опоры.

[0158] На блоке 1322, блок 126 обнаружения объектов может создавать предполагаемые опоры на основании наиболее перекрывающихся возможных гребней линий электропередачи и краев опоры из блоков 1316 и 1320, и отмечать предполагаемые опоры кружками. Поскольку метки в виде кружков могут перекрываться, блок 126 обнаружения объектов может осуществлять обнаружение большого бинарного объекта для получения соединенных меток объектов, которые рассматриваются как возможные области инфраструктурных объектов. Из обнаруженных больших бинарных объектов те большие бинарные объекты, которые шире на заданный процент (например, в два раза шире) или уже на заданный процент (например, три раза уже) инфраструктурного объекта с оцененной шириной, можно не рассматривать. Кроме того, для остальных больших бинарных объектов, размеры которых находятся в заданных пределах, заданное количество больших бинарных объектов (например, три) можно выбирать на основании наибольшего перекрытия с возможными линиями электропередачи и/или с фильтрованным результатом обнаружения углов (например, путем использования обнаружения углов Харриса).

[0159] На блоке 1324, блок 126 обнаружения объектов может делить каждое из изображений 104, например, на блоки пикселей (например, для изображения размером 7360×4912 пикселей и с разрешением 1 см/пиксель) со сдвигом (например, на 20 пикселей). В отношении обнаружения центральной точки инфраструктурного объекта, блок 126 обнаружения объектов может осуществлять классификацию на основе блоков (например, посредством системы полностью контролируемого обучения) на основании различных признаков для вероятных инфраструктурных объектов. Для каждого блока можно назначать взвешенные значения классификации. Согласно примеру, блок 126 обнаружения объектов может использовать несколько классификаторов. Например, классификаторы можно обучать на признаках локальных двоичных шаблонов (LBP), признаках гистограммы ориентированных градиентов (HOG), признаках гистограммы обнаруженных углов (например, обнаруженных методом Харриса) и т.д. Некоторые признаки можно исключать для определенных условий. Классификаторы, используемые блоком 126 обнаружения объектов, могут использовать обучающие данные. Согласно примеру, обучающие выборки могут включать в себя блоки пикселей из изображений. Использование в общем равных количеств положительных и отрицательных выборок объекта в обучающих данных может облегчать использование ядра радиальных базисных функции (RBF) для машины опорных векторов (SVM). Каждый классификатор может включать в себя свои собственные параметры, где параметры можно определять на основании попыток и дополнительно настраивать на основании тестирования.

[0160] Блок 126 обнаружения объектов может интерпретировать и реализовать различные решения для результатов для зимних и летних условий на основании нескольких результатов классификатора для каждого блока. Различные методы можно использовать для объединения результатов классификаторов, например, если классификаторы являются двоичными, то их положительные результаты можно добавлять, после чего можно применять фильтрацию. Согласно другому примеру, для летних и/или весенних условий, вместо результата двоичного прогнозирования, из классификатора можно получать измерение расстояния, и показатель классификации можно назначать на основании расстояния. Кроме того, пороговую бинаризацию можно применять к объединенному показателю классификации на основании количества положительных классификаторов и конкретного сезона.

[0161] После обработки всех блоков большой бинарный объект, имеющий наибольшую сумму показателей классификации, можно обозначить как окончательный обнаруженный инфраструктурный объект, если сумма больше заданной пороговой величины. В связи с этим, эту пороговую величину можно определить на основании оцененной ширины инфраструктурного объекта и сезона. Для обнаруженных центральных точек, блок 126 обнаружения объектов может идентифицировать обнаруженные центральные точки путем использования кружков с радиусом, равным ширине большого бинарного объекта, на маске инфраструктурных объектов соответствующего изображения.

[0162] Если в области поиска не обнаружено инфраструктурных объектом, область поиска можно увеличить и повторно осуществить обработку. Например, области поиска можно удвоить в размере. Если в увеличенных областях поиска не располагается ни одного инфраструктурного объекта, блок 126 обнаружения объектов может указывать, что в соответствующем изображении нет ни одного инфраструктурного объекта.

[0163] На блоке 1330, для каждого из блоков изображения на блоке 1326, и для каждого из классификаторов на блоке 1328, блок 126 обнаружения объектов может классифицировать блок как опору или не опору, и назначать взвешенные значения классификации для каждого блока. В связи с этим, в отношении обнаружения центральной точки инфраструктурного объекта, блок 126 обнаружения объектов может применять фильтрацию на основе углов для удаления положительных классификаций без близлежащих углов.

[0164] На блоке 1332, блок 126 обнаружения объектов может определять взвешенный центр для предполагаемой опоры, которая имеет наибольшее фильтрованное значение классификации, как положение опоры. В связи с этим, в отношении обнаружения центральной точки инфраструктурного объекта, блок 126 обнаружения объектов может определять взвешенный центр для предполагаемого объекта, который имеет наибольшее фильтрованное значение классификации, как положение инфраструктурного объекта.

[0165] На основании определения взвешенного центра для предполагаемой опоры, которая имеет наибольшее фильтрованное значение классификации, как положения опоры, блок 126 обнаружения объектов может определять указанное положение опоры в изображении 1334.

[0166] Кроме того, на основании определения взвешенного центра для предполагаемой опоры, которая имеет наибольшее фильтрованное значение классификации, как положения опоры, блок 126 обнаружения объектов может формировать маску 1336 опоры изображения.

[0167] Блок 124 распознавания объектов - консолидация опор

[0168] В отношении консолидации, на основании результатов обнаружения, процесс консолидации может осуществляться для каждого инфраструктурного объекта. Для примера воздушного контроля опор, в отношении консолидации, на основании результатов обнаружения, процесс консолидации может осуществляться для каждой опоры. Процесс консолидации может представлять окончательный результат обнаружения инфраструктурного объекта и оцененное определение центральной точки для инфраструктурного объекта. В отношении консолидации, можно определить среднее положение по GPS из всех результатов обнаружения. Если инфраструктурный объект обнаружен, например, в большем из двух отдельных изображений, инфраструктурные объекты, не слишком удаленные друг от друга (например, на основании данной пороговой величины), можно удалять из среднего положения по GPS, и среднее можно повторно определять (т.е. среднее положение по GPS на основании остальных объектов). Если остаются некоторые положения по GPS инфраструктурных объектов, то повторно определенное среднее значение инфраструктурного объекта можно назначать как окончательную центральную точку инфраструктурного объекта. Если же не остается ни одного положения по GPS инфраструктурного объекта, это означает, что ни одного инфраструктурного объекта не обнаружено, и оцененное положение инфраструктурного объекта из карты объектов можно использовать для дополнительной обработки.

[0169] Блок 124 распознавания объектов (блок 126 обнаружения объектов) - обнаружение линий электропередачи и формирование маски линий электропередачи

[0170] Фиг. 14 иллюстрирует обнаружение линий электропередачи и формирование маски линий электропередачи для блока 124 распознавания объектов, согласно примеру настоящего изобретения. Блок 124 распознавания объектов может формировать маску линий электропередачи (например, для примера воздушного контроля опор) и обнаруживать линии электропередачи (например, линии электропередачи для примера воздушного контроля опор) внутри ROI линии электропередачи.

[0171] Блок 126 обнаружения объектов может формировать маску линий электропередачи путем использования коридора фиксированной ширины (например, шириной 6,6 метров для примера воздушного контроля опор) по направлению линии электропередачи. Направление линии электропередачи можно определить на основании двух последовательных инфраструктурных объектов и их положений по GPS.

[0172] Согласно фиг. 1 и 14, блок 126 обнаружения объектов может принимать изображение (например, одно из изображений 104) 1400.

[0173] На блоке 1402, блок 126 обнаружения объектов может определять края в изображении 1400.

[0174] На блоке 1404, для примера воздушного контроля опор, блок 126 обнаружения объектов может фильтровать области за пределами ROI линии электропередачи.

[0175] На блоке 1406, блок 126 обнаружения объектов может фильтровать зашумленные точки и очень тонкие края линий. Блок 126 обнаружения объектов может удалять зашумленные точки, и относительно тонкие края линии электропередачи с размыванием средней линии, например, путем использования размера ядра в зависимости от значения cmperpixel для изображения. Для примера воздушного контроля линий электропередачи, линия электропередачи, предположительно, имеет ширину 1,5-3,0 см.

[0176] На блоке 1408, блок 126 обнаружения объектов может определять положение коротких прямых линий на основании краев с использованием методов обнаружения коротких прямых линий. Согласно примеру, методы обнаружения коротких прямых линий можно использовать для обнаружения линий электропередачи по их коротким фрагментам внутри ROI линии электропередачи.

[0177] На блоке 1410, блок 126 обнаружения объектов может отфильтровывать линии, которые не параллельны направлению линий. Согласно примеру, линии электропередачи, которые отклоняются более чем на s градусов (например, s=2°) от направления ROI линии электропередачи, можно отфильтровывать как шум.

[0178] На блоке 1412, блок 126 обнаружения объектов может определять положение прямых длинных линий на основании результата обнаружения коротких прямых линий с использованием, например, методов обнаружения коротких прямых линий. Обнаружение линии электропередачи может осуществляться проходами. Например, первые короткие линии электропередачи, включающие в себя части реальных линий электропередачи и дополнительные края можно обнаруживать внутри ROI линии электропередачи (например, блок 1408), и затем длинные полные линии электропередачи можно обнаруживать с использованием этих коротких линий электропередачи, исходя из того, что, хотя не предполагается, что линия электропередачи является полностью прямой на протяжении всего изображения, более короткая часть линии электропередачи должна быть относительно прямой (например, блок 1412). Кроме того, хотя может существовать много длинных промежутков вдоль полной длинной линии электропередачи, короткие фрагменты линии электропередачи могут не включать в себя промежутки. Согласно примеру, методы обнаружения коротких прямых линий можно повторно использовать на коротких линиях электропередачи для определения положения более длинных линий электропередачи (например, свыше 1500 пикселей). Кроме того, согласно примеру, линии электропередачи, отклоняющиеся более чем на 2°, снова можно отфильтровывать как шум. Согласно примеру, остальные линии электропередачи можно рассматривать как обнаруженные линии электропередачи и перетаскивать в маску линий изображения, например, шириной два пикселя.

[0179] На блоке 1414, блок 126 обнаружения объектов может отфильтровывать линии, которые не параллельны направлению линий. Блок 126 обнаружения объектов может применять пороговую величину к данному изображению, полученному преобразованием Лапласа для отфильтровывания малозначащих линий гребня.

[0180] Блок 126 обнаружения объектов может формировать маску 1416 линий изображения.

[0181] Для примера воздушного контроля опор, при наличии опоры, обнаруженной внутри изображения, опора может негативно влиять на обнаружение следующей линии электропередачи. Таким образом, блок 126 обнаружения объектов может удалять область опоры из анализа путем демаскирования кружком фиксированной ширины вокруг положения центра опоры до дополнительного обнаружения линии электропередачи.

[0182] Блок 124 распознавания объектов (блок 126 обнаружения объектов) - обнаружение растительности и формирование маски растительности

[0183] Фиг. 15 иллюстрирует обнаружение растительности и формирование маски растительности для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0184] Согласно фиг. 1 и 15, на блоке 1500, блок 126 обнаружения объектов может принимать параметры 1304 классификаторов и изображение (из изображений 104) 1400. На блоке 1500, блок 126 обнаружения объектов может осуществлять предобработку изображения, например, путем преобразования изображения к серной шкале. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, блок 126 обнаружения объектов может, например, определять признаки HOG и LBP для изображения и использовать систему полностью контролируемого обучения для распознавания объектов. Затем блок 126 обнаружения объектов может удалять область вне ROI из результатов предобработки. Согласно примеру, блок 126 обнаружения объектов может осуществлять предобработку изображения из RGB в серую шкалу, например, усиливая зеленый цвет для летнего сезона (например, входной сигнал=R-0,5*(G+B)).

[0185] На блоке 1504, блок 126 обнаружения объектов может нормализовать данные, связанные с изображением, на блоке 1500. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, блок 126 обнаружения объектов может использовать нормализованный канал зеленого, где нормализация может осуществляться путем масштабирования среднего каналов, например, до 128. Согласно примеру, блок 126 обнаружения объектов может нормализовать яркость (например, нормализованный=входной сигнал * 128/среднее(один слой)).

[0186] На блоке 1506, блок 126 обнаружения объектов может фильтровать области других объектов (например, не растительных объектов). Блок 126 обнаружения объектов может формировать двоичную маску зоны для поиска растительности, за исключением области инфраструктурного объекта, область объектов и области вне ROI.

[0187] На блоке 1508, блок 126 обнаружения объектов может делить изображение 1400, например, на блоки без перекрывания. На блоке 1510, для каждого из блоков на блоке 1508, и на блоке 1512, для каждого из классификаторов, на блоке 1514, блок 126 обнаружения объектов может классифицировать каждый из блоков как растительность или не растительность. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, согласно примеру, обработка может осуществляться для каждого блока путем сначала выполнения классификаторов для блоков, которые имеют достаточное количество краев внутри области (например, растительность должна иметь несколько краев). Гребни можно проверять из результатов Лапласа. Классификаторы также могут игнорировать блоки, которые рассматриваются как земля. В этом случае, рассмотрение как не земли означает, что разность высот для этого блока больше минимальной высоты дерева, или блок имеет достаточное количество высоких точек (среднее значение 0-255 маска не земли > 64) чтобы включать в себя область деревьев одинаковой высоты. Каждый классификатор может обеспечивать вероятность растительности. Классификатор с признаками HOG может быть реализован отдельно от блока. Если вероятность достаточно высока, то классификация LBP может обеспечивать вторую вероятность. Если оба классификатора прогнозируют, что блок является растительностью, то блок может предварительно обозначаться как растительность. Область блока можно рассматривать как растительность, если среднее Лапласа этой области больше заданного значения, и классификаторы с LBP и признаки HOG рассматривают эту область как растительность.

[0188] В отношении обнаружения растительности и формирования маски растительности, классификаторы растительности можно обучать, как описано выше. Можно использовать несколько классификаторов, и классификаторы можно обучать для каждого сезона. Для получения оптимального классификатора, обучающие данные могут включать в себя приблизительно одно и то же количество положительных и отрицательных выборок.

[0189] На блоке 1516, блок 126 обнаружения объектов может объединять результаты принятия решения по всем классификаторам в один результат принятия решения.

[0190] На блоке 1518, блок 126 обнаружения объектов может применять сужение морфологии. В отношении обнаружения растительности и формирования маски растительности, классификатор может не точно классифицировать блок. Для решения любых неточностей, блок 126 обнаружения объектов может использовать морфологические операции. Если окружающие блоки классифицируются как растительность, то блок в середине также может быть растительностью. В связи с этим, сужение морфологии и расширение морфологии можно использовать для коррекции любых неправильно спрогнозированных блоков. Области инфраструктурных объектов и объектов могут подвергаться эрозии (например, вследствие эрозии морфологии) до исключения из области поиска. Блок 126 обнаружения объектов может применять морфологию в изображении, и затем применять размывание.

[0191] На блоке 1520, блок 126 обнаружения объектов может формировать маску принятия решения по классификаторам изображения как маску растительности изображения.

[0192] На блоке 1522, блок 126 обнаружения объектов может осуществлять суперпиксельное сегментирование и, на основании маски решений, блок 126 обнаружения объектов может выбирать суперпиксели, которые являются растительностью.

[0193] На блоке 1524, блок 126 обнаружения объектов может формировать маску суперпиксельного сегментирования.

[0194] На блоке 1526, блок 126 обнаружения объектов может выбирать суперпиксели на основании маски решений.

[0195] На блоке 1528, блок 126 обнаружения объектов может осуществлять сужение морфологии.

[0196] На блоке 1532, блок 126 обнаружения объектов может принимать маску 1530 земли изображения и результаты сужения морфологии блока 1528 для фильтрации областей уровня земли. Кроме того, блок 126 обнаружения объектов может удалять области вне области поиска из маски растительности, и добавлять окончательную маску растительности в маску изображения.

[0197] Блок 126 обнаружения объектов может формировать маску 1534 растительности изображения

[0198] Блок 124 распознавания объектов (блок 126 обнаружения объектов) -реализация суперпикселей

[0199] Блок 126 обнаружения объектов может отображать предварительную классификацию в суперпиксели и классифицировать, какие суперпиксели принадлежат классу, на основании предварительной классификации. В отношении отнесения суперпикселей к классу, изображение может делиться на области суперпикселей. Блок 126 обнаружения объектов может собирать полезную информацию о суперпикселях. Разделение на суперпиксели может базироваться на RGB-изображении. Блок 126 обнаружения объектов может использовать изображение высот для сбора некоторой информации в класс суперпикселей. Класс суперпикселей может включать в себя множество векторов, где указаны средняя и максимальная высота каждого суперпикселя, самый левый и самый правый столбец, и самую верхнюю и самую нижнюю строки. Для каждого суперпикселя, класс также может указывать соседние с ним суперпиксели в векторе.

[0200] Блок 126 обнаружения объектов может анализировать суперпиксели и формировать прямоугольник вокруг области суперпикселя. Блок 126 обнаружения объектов может определять, насколько предварительная классификация перекрывается с прямоугольником суперпикселя (т.е. средним опорного). В случае достаточно сильного перекрытия, суперпиксель может классифицироваться положительно.

[0201] Если при классификации используется информация высоты, после классификации может осуществляться дополнительная проверка. Дополнительную проверку можно использовать для идентификации суперпикселей, расположенных высоко над землей внутри широкого объекта (например, большое здание). Эти суперпиксели могут быть окружены высокими суперпикселями и могут быть неправильно классифицированы. В случае достаточно сильного перекрытия и положительной классификации соседних суперпикселей, суперпиксель также может классифицироваться положительно.

[0202] Блок 124 распознавания объектов (блок 126 обнаружения объектов) - обнаружение антропогенного объекта и формирование маски антропогенного объекта

[0203] Фиг. 16 иллюстрирует обнаружение антропогенного объекта и формирование маски антропогенного объекта для блока 124 распознавания объектов, согласно примеру настоящего изобретения. В отношении обнаружения антропогенного объекта и формирования маски антропогенного объекта, блок 126 обнаружения объектов может осуществлять обнаружение объекта для всех сезонов (например, лета, зимы). Антропогенные объекты могут в общем включать в себя любой тип объекта, который может создавать риск для контролируемого инфраструктурного объекта (например, строения, люди, автомобили и т.д.). Различные методы обнаружения антропогенных объектов можно использовать для различных сезонов.

[0204] В отношении обнаружения антропогенного объекта и формирования маски антропогенного объекта для зимнего сезона, процесс обнаружения объекта зимнего сезона может базироваться на предположении о том, что в общем все покрыто снегом, и поэтому реальные цвета объектов не видны и можно обнаруживать только края объектов. Всесезонный процесс обнаружения объект также может учитывать информацию цвета.

[0205] Для процесса обнаружения объекта зимнего сезона, поскольку сравнительно малые объекты можно игнорировать, процесс обнаружения объекта зимнего сезона может снижать разрешение изображения для уменьшения времени обработки, связанного с изображениями. Блок 126 обнаружения объектов может сглаживать цветное изображение, и извлекать края и гребни из изображения. Обнаружение краев может осуществляться отдельно для каждого цвета с использованием обнаружения краев Канни или Собеля и обнаружения гребней - с использованием лапласова обнаружения гребней. Блок 126 обнаружения объектов может удалять нечеткие края путем использования порогового подхода. Для инфраструктурных объектов (например, опор, зданий и т.д.), область инфраструктурного объекта и область вне ROI можно удалять из результатов предобработки. Исходя из того, что рукотворные объекты в общем включают в себя прямые линии, блок 126 обнаружения объектов может обнаруживать линии, например, посредством методов обнаружения короткой прямой линии. Кроме того, блок 126 обнаружения объектов может формировать прямоугольники вокруг области каждой линии.

[0206] Для процесса обнаружения объекта зимнего сезона, блок 126 обнаружения объектов может считать количество краев из прямоугольников. Если прямоугольники включают в себя слишком много краев, то можно определить, что линия принадлежит, например, растительности. Если прямоугольники включают в себя слишком мало краев, то можно определить, что линия является изолированной линией, а не частью какой-либо конструкции.

[0207] Для процесса обнаружения объекта зимнего сезона, блок 126 обнаружения объектов может формировать суперпиксели из изображения. Суперпиксели, которые включают в себя часть прямоугольников ранее сформированных линий, можно классифицировать как принадлежащий объекту. Предварительная маска объекта может формироваться на основании классификации.

[0208] Для процесса обнаружения объекта зимнего сезона, блок 126 обнаружения объектов также может осуществлять расширение морфологии на предварительной классификации для сглаживания результатов классификации. Кроме того, инфраструктурные объекты, растительность и т.д. и область вне ROI можно удалять из результатов предобработки, благодаря чему каждая область относится только к одному классу.

[0209] В отношении обнаружения антропогенного объекта и формирования маски антропогенного объекта для всех остальных сезонов (например, весны, лета, осени), блок 126 обнаружения объектов может определять области объектов путем использования информации цвета, путем использования краев и данных высоты, и посредством идентификации областей, где цвет относительно отличается от наиболее обычного цвета земли.

[0210] Согласно фиг. 1 и 16, для формирования маски неизвестного объекта, блок 126 обнаружения объектов может принимать карту 1600 высот изображения (например, карт 410 высот изображений).

[0211] На блоке 1602, блок 126 обнаружения объектов может определять производные данных высоты в направлениях x и y. Блок 126 обнаружения объектов может масштабировать данные высоты, например, от 0 до 255 включительно, и определять производные в направлениях x и y с использованием, например, операции Собеля или вывод схемы конечных разностей.

[0212] На блоке 1604, блок 126 обнаружения объектов может определять края, где производные последовательно растут и затем падают. В связи с этим, блок 126 обнаружения объектов может последовательно анализировать изображение в вертикальном и в горизонтальном направлениях, и идентифицировать те области ненулевого Лапласа, где высота растет или падает. Если определяется падение, может осуществляться поиск поднятого края в ближайшей области. Согласно примеру, эта область может ограничиваться, например, двадцатью метрами (как максимальной длиной любого объекта, подлежащего идентификации).

[0213] На блоке 1606, если определено положение обоих краев объекта, блок 126 обнаружения объектов может отмечать объект.

[0214] Для изображения 1400 (изображений 104), на блоке 1610, блок 126 обнаружения объектов может преобразовывать изображение в формат оттенок-насыщенность-значение (HSV). Блок 126 обнаружения объектов может изменять размер цветного изображения до размера данных высоты, и осуществлять размывание средней линии. Как описано здесь, блок 126 обнаружения объектов может извлекать линии гребня с использованием, например, оператор Лапласа.

[0215] На блоке 1612, блок 126 обнаружения объектов может обобщать вычисления Лапласа всех каналов данных HSV. Блок 126 обнаружения объектов может размывать каждый канал, и извлекать гребни посредством оператора Лапласа. Например, для зимы, лапласовы методы могут использовать значение канала значения (яркости) или каждый канал изображения в качестве входного сигнала.

[0216] На блоке 1614, блок 126 обнаружения объектов может определять области без краев. Блок 126 обнаружения объектов может определять области без краев посредством операций сравнения с пороговой величиной, расширения и размывания средней линии.

[0217] Для маски 1530 земли изображения, на блоке 1618, блок 126 обнаружения объектов может определять, является ли сезон зимним сезоном. В ответ на определениее на блоке 1618, что сезон является зимним сезоном, анализ, связанный с описанными ниже блоками 1620, 1622 и 1624, может не осуществляться.

[0218] Блок 126 обнаружения объектов может идентифицировать области, цвет которых относительно отличается от наиболее обычного цвета земли. В связи с этим, изображение можно преобразовывать в формат HSV, и можно обрабатывать каждый канал. В ответ на определение на блоке 1618, что сезон не является зимним сезоном, для каждого из каналов HSV на блоке 1620, на блоке 1622, блок 126 обнаружения объектов может определять индекс максимума гистограммы значений канала изображения в областях земли, и на блоке 1624, блок 126 обнаружения объектов может определять значения, не равные найденному индексу, и размывать результат.

[0219] На блоке 1626, блок 126 обнаружения объектов может обобщать результаты всех каналов HSV.

[0220] На блоке 1628, блок 126 обнаружения объектов может принимать результаты от блоков 1606, 1614 и 1626, и обобщать и фильтровать результаты. Результаты можно сглаживать путем размывания средней линии. В отношении обнаружения антропогенного объекта и формирования маски объекта для всех остальных сезонов, блок 126 обнаружения объектов может определять маску объекта путем суммирования вышеупомянутых результатов.

[0221] На блоке 1630, блок 126 обнаружения объектов может удалять области других объектов и сравнительно малые области. Кроме того, блок 126 обнаружения объектов может удалять растительность, опору и области вне ROI. Блок 126 обнаружения объектов также может удалять объекты, которые слишком малы или слишком велики, путем использования операции классификации форм.

[0222] Блок 126 обнаружения объектов может формировать маску 1632 антропогенных объектов изображения.

[0223] Блок 124 распознавания объектов - создание областей

[0224] Фиг. 17 и 18 иллюстрируют создание областей для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0225] Согласно фиг. 1, 17 и 18, в отношении обработки области, блок 126 обнаружения объектов может формировать области посредством идентификации всех инфраструктурных объектов (например, опор, трубопроводов, зданий и т.д.), и установления областей вокруг инфраструктурных объектов. Блок 126 обнаружения объектов может выполнять процессы обнаружения на основе изображений (например, обнаружения линий, растительности и объекта), и блок 128 консолидации области объекта может отображать результаты в маски области.

[0226] В отношении формирования областей, блок 128 консолидации области объекта может устанавливать начальный и концевой объекты. Для примера воздушного контроля опор, блок 128 консолидации области объекта может устанавливать начальную и концевую опоры, чтобы линии электропередачи располагались непосредственно внутри области. Область можно ограничивать, например, на основании результатов обнаружения инфраструктурного объекта (например, опоры). Если инфраструктурный объект обнаружен или пропущен, поскольку вблизи инфраструктурного объекта существуют изображения, можно обрабатывать область, включающую в себя инфраструктурный объект.

[0227] В отношении обработки области, класс области C++ может отвечать за выделение матриц областей, определение матриц преобразования между пикселями области и координатами GPS, отображение результатов распознавания на основе изображений в область, и консолидацию результатов из различных изображений в одну из матриц областей.

[0228] Согласно фиг. 1 и 17, если углы между направлениями достаточно велики, области можно делить на области, как показано на 1700. Если углы между первым направлением и другими направлениями сравнительно малы, как показано на 1702, области можно включать в одну область.

[0229] Согласно фиг. 1 и 18, в отношении класса области C++, связанного с обработкой области, блок 128 консолидации области объекта может сначала устанавливать угловые точки области на основании начального положения (например, начального инфраструктурного объекта, например, начальной опоры), конечного положения (например, конечного инфраструктурного объекта, например, конечной опоры), ROI и постоянных протяжённости. Например, фиг. 18 иллюстрирует определение угловых точек области, согласно примеру настоящего изобретения. Как показано на фиг. 18, для примера воздушного контроля опор, угловые точки можно определить в две стадии, иллюстративные результаты первой и второй стадий помечены на фиг. 18 как «1» и «2» соответственно. На первой стадии, блок 128 консолидации области объекта может определять точки, которые располагаются на расстоянии, равном ширине ROI плюс горизонтальная протяжённость от начальной и конечной точек инфраструктуры области, на перпендикуляре к прямой линии между начальной и конечной точками инфраструктуры. На второй стадии, угловые точки могут расширяться чтобы включать в себя некоторое перекрытие между областями во избежание исключения объектов, находящихся вблизи инфраструктурного объекта (например, опоры). Блок 128 консолидации области объекта может определять окончательные угловые точки области «2», путем определения положения точек на расстоянии вертикальной протяжённости от точек «1» на линии, параллельной прямой линии между начальной и конечной точками инфраструктуры.

[0230] В отношении класса области C++, связанного с обработкой области, блок 128 консолидации области объекта может определять матрицы преобразования из GPS в пиксель области (и наоборот). Блок 128 консолидации области объекта может использовать, например, аффинное преобразование или другие подобные методы для определения матриц преобразования. В отношении матриц преобразования, на основании отсчета положений по GPS- угловых точек для области, для минимизации ошибки округления в преобразовании, координаты GPS можно переводить в локальные координаты области, где началом отсчета является верхний левый угол для области без протяжённости.

[0231] Конфигурация блока 128 консолидации области объекта может задавать точность маски области. Ширину и высоту маски области (и пиксельные значения угловых точек) можно вычислять на основании точности и угловых точек области. Угловые точки области можно определить на основании этих ширины и высоты маски области.

[0232] Блок 124 распознавания объектов - консолидация области

[0233] Фиг. 19 иллюстрирует консолидацию области для блока 124 распознавания объектов, согласно примеру настоящего изобретения.

[0234] Согласно фиг. 1 и 19, консолидация области для блока 124 распознавания объектов может включать в себя отображение результатов обработки изображений в область, путем вычисления преобразований локальных координат изображения в локальные координаты области, на основании данных совмещения GPS изображений и данных совмещения GPS областей.

[0235] В отношении класса области C++, связанного с обработкой области, блок 128 консолидации области объекта может выделять матрицы областей. Матрицы областей могут включать в себя матрицу маски области, матрицу высотной области, матрицу области земли и матрицу области количества преобразованных пикселей.

[0236] Матрица маски области может включать в себя, например, четыре канала (консолидированный/окончательный результат, отсчет обнаружения инфраструктурного объекта (например, опоры), отсчет обнаружения растительности и отсчет обнаружения объектов). Три канала отсчета могут включать в себя сумму всех положительных классификаций, собранных из различных изображений в конкретный пиксель области.

[0237] Матрица высотной области может включать в себя, например, два канала (скользящее среднее отсчетов высот для пикселя области и отсчет значений высоты, собранных для пикселя). Отсчет значений высоты можно использовать для поддержания скользящего среднего.

[0238] Матрица области земли может включать в себя, например, отсчет положительных классификаций земли. Матрица области количества преобразованных пикселей может включать в себя, например, количество всех пикселей изображение, отображенных в каждый пиксель области.

[0239] В отношении класса области C++, связанного с обработкой области, блок 128 консолидации области объекта может отображать результаты, основанные на изображении, в матрицы областей. Маски изображения объектов, карты высот изображения и маски классификации земли изображения можно фильтровать по средней линии. На основании результатов фильтрации, блок 128 консолидации области объекта может выбирать последовательные выборки, которые представляют значение средней линии окружающей области. Например, каждый пятый пиксель каждой пятой строки изображения можно выбирать для обработки.

[0240] Для каждого выбранного пикселя, блок 128 консолидации области объекта может гарантировать, что пиксель находится внутри ROI изображения для пропуска обработки ненужных деталей. Выбранные координаты пикселей изображения можно преобразовывать в положения пикселей в матрицах областей сначала путем преобразования координат пикселей изображения в положение по GPS, и затем преобразования положения по GPS в координаты пикселей области с использованием аффинного преобразования области. Блок 128 консолидации области объекта может дополнительно гарантировать, что результирующие координаты пикселей области находятся внутри маски области.

[0241] В отношении обработки изображений, для каждого обработанного и преобразованного пикселя, положительный результат классификации маски изобретения может увеличивать соответствующее пиксельное значение области в канале маски области. Для примера воздушного контроля опор, если пиксель изображения классифицирован как опора, то соответствующий пиксель области в канале опоры соответствующего пикселя маски области может увеличиваться на единицу.

[0242] В отношении обработки изображений, для каждого обработанного и преобразованного пикселя, информацию высоты из карты высот на основе изображений можно добавлять в определение скользящего среднего соответствующего высотного пикселя области. Например, если y является скользящим средним (или измененным скользящим средним), n равно количеству значений высоты, доступный для пикселя высоты области, и x - пиксельное значение в карте высот на основе изображений, то скользящее среднее y можно определить следующим образом:

уравнение (26)

В уравнении (26), может представлять среднее n элементов.

[0243] В отношении обработки изображений, для каждого обработанного и преобразованного пикселя, классификацию земли также можно обновлять. Если пиксель классифицирован как находящийся на уровне земли, положительный отсчет классификации земли (например, находящийся на уровне земли) также может увеличиваться.

[0244] В отношении обработки изображений, для каждого обработанного и преобразованного пикселя, значение соответствующего пикселя области в матрице области количества преобразованных пикселей может увеличиваться.

[0245] В отношении класса области C++, связанного с обработкой области, блок 128 консолидации области объекта может консолидировать результаты классификации различных изображений в окончательный результат классификации области. В связи с этим, блок 128 консолидации области объекта может осуществлять фильтрацию по средней линии для каждого канала для сглаживания пикселей выброса, если, например, один пиксель пропущен во всех изображениях. Блок 128 консолидации области объекта может оценивать все пиксели, определять взвешенную вероятность различных вариантов классификации для пикселей, и выбрать для каждого пикселя вариант классификации с наивысшей оценкой. При консолидации земли можно выбирать наиболее часто встречающийся вариант.

[0246] В отношении обработки области, блок 128 консолидации области объекта может использовать обучение реализации классификатора для формирования автоматизированной обратной связи для классификаторов растительности для переобучения классификаторов растительности. В связи с этим, область изображения можно извлекать из консолидированной маски области, и блок 128 консолидации области объекта может осуществлять переобучение классификаторов с использованием извлечения.

[0247] Блок реконструкции трехмерной кривой

[0248] Блок 130 реконструкции трехмерной кривой может использовать маски объектов изображений, данные GPS-положения инфраструктуры, данные совмещения GPS изображений и данные совмещения GPS областей для построения параметризованных 3D моделей представления для некоторых типов объектов. Для примера контроля электрических опор и линий электропередачи, блок 130 реконструкции трехмерной кривой может использовать маски линий электропередачи изображений, данные GPS-положения опор, данные совмещения GPS изображений и данные совмещения GPS области для составления уравнений, которые определяют положение каждой линии электропередачи.

[0249] Блок 130 реконструкции трехмерной кривой может осуществлять свои операции в системе координат, которая сохраняет прямые линии реального мира. Например, система координат может представлять собой геодезическую систему координат ECEF или систему координат областей, или другую систему координат с аналогичными характеристиками.

[0250] Для примера реконструкции линий электропередачи, для линий между опорами каждой пары, можно использовать систему координат окружающей области. В системе координат области линии электропередачи могут быть растянуты вдоль оси Y, как показано на фиг. 20A. Положения опор (X_A, Y_A, высота_A, и X_B, Y_B, высота_B) можно выводить из положения по GPS опор и данных совмещения GPS области. Затем блок 130 реконструкции трехмерной кривой может задавать плоскости проекции между опорами в системе координат области, на которые можно проецировать линии электропередачи, присутствующие в изображениях. Каждая плоскость проекции может включать в себя фиксированную координату Y в системе координат области, и такие же оси X и Z (высоты), как в системе координат области. Фиксированные координаты Y плоскостей проекции могут равномерно распределяться между координатами Y опор. Количество плоскостей проекции может определяться системным параметром. Изображения, которые включают в себя линии электропередачи между выбранными опорами, которые следует проецировать на плоскости проекции, можно определять путем проверки их пересечения с областью таким же образом, как для создания областей.

[0251] Для проецирования линий электропередачи, обнаруженных в изображениях, на заданные плоскости проекции, линию, соединяющую положение камеры и пиксель линии электропередачи в плоскости изображения можно определить для каждого или некоторых из пикселей линии. Для определения уравнения этой линии, некоторую случайную точку на этой линии, отличную от положения камеры, можно определить аналогичным образом, как при использовании данных совмещения GPS изображения. Положение камеры (X₀, Y₀, высота₀) и положение случайной точки (X₁, Y₁, высота₁) в системе координат области можно выводить из данных совмещения GPS изображения и данных совмещения GPS области. Для каждой такой линии, координаты пересечения с плоскостью проекции можно определить следующим образом:

уравнение (27)

уравнение (28)

уравнение (29)

[0252] Для уменьшения времени обработки можно отфильтровывать точки пересечения со слишком малыми или слишком большими координатами. Соседние точки пересечения можно соединять отрезками линии таким же образом, как они были соединены в исходных изображениях. После обработки всех изображений описанным образом, плоскость проекции может включать в себя проекции всех обнаруженных линий электропередачи, каждая из которых имеет форму множества отрезков линии.

[0253] Как показано на фиг. 20B, в каждой плоскости проекции, линии из различных изображений могут пересекаться друг с другом, образуя, таким образом, множество точек, где каждая точка является пересечением двух линий. Линии электропередачи реального мира могут располагаться вблизи точек, где возникает наибольшее количество таких пересечений. Для определения этих точек, можно анализировать пересечения каждой линии с другими линиями. Пересечения можно сортировать по их координатам высоты, и можно выбирать самую длинную последовательность элементов с малыми расстояниями между ними (меньше заданной пороговой величины). Средние координаты координат элементов этой последовательности могут формировать наиболее частотное пересечение для каждой линии.

[0254] Наиболее частотные пересечения в плоскостях проекции могут формировать множество точек, расположенное между опорами, как показано на фиг. 20C. Точки множества точек могут согласовываться с двумя уравнениями для каждой обнаруживаемой кривой. Одно уравнение может отражать вид кривой сверху сцены и отражать зависимость координаты X от координаты Y, и принимать форму линейного уравнения. Второе уравнение может отражать зависимость высоты кривой от координаты Y, и принимать форму либо уравнения гиперболического косинуса, либо уравнения параболы. Для выбора точек, которые могут согласовываться с этими двумя уравнениями, множество точек сначала можно преобразовывать в представление графа. Точки могут становиться вершинами, и можно добавлять ребра для точек в последовательных плоскостях проекции с малыми разностями координат X и высоты (меньше заданных пороговых величин). Точки из непоследовательных плоскостей проекции также можно использовать для устранения возможных промежутков в графе.

[0255] В результирующем графе соединенные компоненты можно выбирать для формирования согласующих линий. Для последующих вычислений можно выбирать соединенные компоненты с наибольшим количеством точек и/или с максимальной длиной вдоль оси Y. В каждом соединенном компоненте можно выбирать некоторое количество случайных ребер («затравок»). Количество затравок может быть заданным параметром. Для каждой затравки, случайное соседнее ребро можно определить для каждых двух вершин затравки. Ту же процедуру можно применять к выбранным ребрам в контуре, пока не будут достигнуты вершины из плоскостей проекции с минимальными и максимальными фиксированными координатами Y. Для каждого множества ребер, полученных из исходной затравки, вершины можно использовать для согласования с кривыми. Для согласования первого уравнения (x=k * y+t), линейную регрессию можно применять следующим образом:

уравнение (30)

уравнение (31)

[0256] Для согласования второго уравнения (высота=a*y²+b*y+c), линейную регрессию также можно применять следующим образом:

уравнение (32)

уравнение (33)

уравнение (34)

[0257] Затем результирующие уравнения можно повторно согласовывать, с использованием точек из множества точек, которые расположены в пределах заданного расстояния до первой оцененной кривой. Затем результирующие согласованные кривые можно фильтровать. Кривые с аналогичными результирующими параметрами можно объединять, или, например, кривые можно обрабатывать по одной для определения «наилучших» кривых. На каждом этапе обработки, кривая с наибольшим количеством точек в пределах заданного расстояния можно выбирать, и эти точки в пределах заданного расстояния от линии можно удалять из множества точек. Таким образом, близлежащие кривые можно не выбирать на следующих итерациях. Все кривые, на которых после нескольких итераций оказывается слишком мало точек, можно отбрасывать. Точки во множестве точек, которые не были согласованы никакими линиями, можно рассматривать как выбросы.

[0258] Затем результирующие согласующие кривые можно дополнительно фильтровать. Например, блок 130 реконструкции трехмерной кривой может отбрасывать кривые, которые располагаются далеко от опоры, или кривые, которые не согласуются с результатами из соседнего отрезка между опорами. План монтажа линий электропередачи на опоре также может использоваться с той же целью, если обеспечивается клиентской системой.

[0259] Результирующие параметры кривых для каждой кривой могут сохраняться в отдельном файле TXT для каждой пары последовательных опор. Позже эти параметры могут использоваться в блоке 132 анализа рисков системы 100. Маски области линии электропередачи также можно обновлять, согласно определенным точным положениям линий электропередачи. Для каждой пары опор область, ограниченную уравнениями прямой линии и положениями опор, можно рассматривать как область линий электропередачи.

[0260] Блок 132 анализа рисков - поток данных блока анализа рисков

[0261] Фиг. 21 иллюстрирует поток данных блока анализа рисков для блока 132 анализа рисков системы 100, согласно примеру настоящего изобретения.

[0262] Согласно фиг. 1 и 21, блок 132 анализа рисков может анализировать предыдущие данные 136, инфраструктурные правила 2100, данные 706 совмещения GPS областей, маски 708 объектов областей, маску 710 земли областей, карту 712 высот областей, пространственное разрешение 714 областей, данные 408 совмещения GPS изображений, и, для примера воздушного контроля опор, параметры кривых линий электропередачи 2102, для формирования параметров 2104 риска, многоугольников 2106 риска и масок 2108 риска для каждого риска в каждой области. Параметры 2104 риска, многоугольники 2106 риска и маски 2108 риска можно пересылать на блок 142 консолидации рисков для дополнительного анализа.

[0263] Согласно фиг. 1 и 21, в отношении оценивания риска, блок 132 анализа рисков может, в общем случае, обнаруживать риски, которые включают в себя высокие деревья в ROI, которые могут падать под линиями электропередачи или на них (например, для примера воздушного контроля линий электропередачи), растительность в RoW, высокие антропогенные объекты в ROI (в RoW или вблизи RoW), антропогенные объекты и/или растительность под линиями электропередачи (например, для примера воздушного контроля линий электропередачи), идентифицировать, существуют ли пропавшие линии электропередачи между опорами (например, для примера воздушного контроля линий электропередачи), и измерять минимальный просвет линий электропередачи (например, для примера воздушного контроля линий электропередачи).

[0264] В отношении анализа рисков, блок 132 анализа рисков может в общем принимать в качестве входного сигнала для каждой области соответствующие ID областей, карты высот, маски земли, данные совмещения области, параметры трехмерной кривой линий электропередачи и маски объектов (например, растительности, инфраструктурных объектов (например, линий электропередачи, опор, строений и т.д.), антропогенных объектов)). Согласно примеру, инфраструктурные правила 2100 могут включать в себя ширину RoW, максимальную допустимую высоту для различных неинфраструктурных объектов и расстояние от границ инфраструктурных объектов, которые могут измеряться в метрах. Блок 132 анализа рисков также может принимать в качестве входного сигнала выходной отчет для результатов обнаружения, который включает в себя локальные координаты GPS и/или области инфраструктурных объектов, предполагаемое количество входных и выходных линий электропередачи для каждого инфраструктурного объекта (например, для примера воздушного контроля опор), и пространственное разрешение (см/пиксель) для каждой области. Блок 132 анализа рисков может дополнительно принимать в качестве входного сигнала предыдущие данные 136 (например, информацию рисков (тип риска, координаты, маску области ареальных рисков, высоты, площадь и т.д.)), и обратную связь с пользователем 138 (например, тип и ID риска, неправильно найденный, разрешаемый риск, дата и стоимость обслуживания и т.д.).

[0265] Блок 132 анализа рисков - оценивание ареальных рисков

[0266] Фиг. 22-24 иллюстрируют оценивание ареальных рисков для блока 132 анализа рисков, согласно примеру настоящего изобретения.

[0267] Блок 132 анализа рисков может принимать карту высот области на блоке 2208 и маску земли области на блоке 2210 для определения на блоке 2212 карты высот.

[0268] Согласно фиг. 22, блок 132 анализа рисков может принимать инфраструктурные правила 2100, маски неинфраструктурных объектов области на блоке 2200, маски инфраструктурных объектов области на блоке 2202 и карту высот, определенную на блоке 2212, для определения (например, определения положения), на блоке 2204, областей (и/или деревьев и/или объектов), которые нарушают промышленные стандарты (например, выбора областей, высота которых превышает пороговую величину максимальной высоты).

[0269] На блоке 2206, блок 132 анализа рисков может делить рисковую область, определенную на блоке 2204, на кластеры. Например, блок 132 анализа рисков может делить рисковые пиксели на несколько кластеров рисковых областей, таким образом, получая маску риска для каждой области, подлежащей использованию при определении количественных параметров риска на блоке 2220, при отыскании охватывающего многоугольника риска на блоке 2222, и для включения в выходной сигнал блока 132 анализа рисков на блоке 2224.

[0270] Для каждого кластера риска из блока 2206, блок 132 анализа рисков может принимать маски инфраструктурных объектов области на блоке 2202, карту высот на блоке 2212, параметры кривых линий электропередачи на блоке 2214, предыдущие данные 136, пространственное разрешение области на блоке 2216, данные совмещения области на блоке 2218, маску риска, полученную на блоке 2206, и карту высот, полученную на блоке 2212, для определения количественных параметров риска на блоке 2220, которые могут быть включены в выходной сигнал блока 132 анализа рисков на блоке 2226. В связи с этим, в отношении предыдущих данных 136, блок 132 анализа рисков может определять, можно ли рассматривать случай как случай риска, или нет. Например, блок 132 анализа рисков может сравнивать координаты GPS пикселей кластеров риска, найденные в предыдущих полетах (например, идентифицировать, обнаружен ли риск в предыдущих полетах), сравнивать высоту рисков (например, идентифицировать, существует ли тенденция к увеличению, идентифицировать, сохраняется ли случай риска, несмотря на то, что он уже разрешен (устранен)), и/или обеспечивать информацию согласно частоте возникновения, тенденции к увеличению и/или обратной связи с пользователем.

[0271] Для каждого кластера риска из блока 2206, блок 132 анализа рисков может принимать маску риска, полученную на блоке 2206, пространственное разрешение области на блоке 2216 и данные совмещения области на блоке 2218 для определения охватывающего многоугольника на блоке 2222 для включения в выходной сигнал блока 132 анализа рисков на блоке 2228.

[0272] Таким образом, в отношении оценивания каждого обнаруженного кластера риска, блок 132 анализа рисков может определять маску области (например, маску для рисковых областей), количественные параметры рисков (например, радиус, площадь, высоту и т.д.), и векторное представление риска (например, охватывающий многоугольник).

[0273] В отношении блоков 2204 и 2220, анализ этих блоков может зависеть от типа риска.

[0274] Согласно фиг. 23, для формирования карты высот (например, блок 2212 на фиг. 22) блок 132 анализа рисков может принимать карту высот (например, блок 2208 на фиг. 22) и маску земли (например, блок 2210 на фиг. 22). На 2300, блок 132 анализа рисков может выбирать высоты, связанные с уровнем земли. На 2302, блок 132 анализа рисков может заполнять отверстия (области, которые не были классифицированы как находящиеся на уровне земли, и, таким образом, не включают в себя информацию высоты) локальными средними высотами земли. Локальные высоты можно получать с учетом высот на расстоянии от исходного пикселя, которое не превышает некоторую заданную или вычисленную пороговую величину (т.е. с учетом максимального расстояния от пикселя отверстия до пикселя не отверстия на карте высот). На 2304, блок 132 анализа рисков может осуществлять гауссово размывание для сглаживания результирующих высот земли. На 2306, блок 132 анализа рисков может вычитать высоты земли из карты высот для определения карты высот.

[0275] Согласно фиг. 24, в отношении кластеризации рисков, блок 132 анализа рисков может группировать блоки пикселей, которые принадлежат одному и тому же риску и распознаются ближе, чем на указанное расстояние (например, пороговую величину n, которая может быть равна шести метрам). Блок 132 анализа рисков может принимать исходную двоичную матрицу на 2400. На 2402, блок 132 анализа рисков может выбирать любой не помеченный пиксель и его ненулевые соседи на расстоянии меньше заданной пороговой величины (например, расстояние nn в пикселях может быть получено из пороговой величины n с использованием пространственного разрешения области), и назначать метки не помеченному пикселю и его ненулевым соседям, и повторять, пока не будут помечены все пиксели. Эти метки могут указывать, какому кластеру принадлежит пиксель. На 2404, в отсутствие помеченных соседей, блок 132 анализа рисков может создавать новую метку и использовать новую метку для отметки всех пикселей в окрестности на 2406. На 2408, при наличии соседей, помеченных единичной меткой, блок 132 анализа рисков может использовать предыдущую метку для отметки пикселей в окрестности, как показано на 2410. На 2412, при наличии соседей, помеченных различными метками, блок 132 анализа рисков может выбирать одну из предыдущих меток для отметки окрестности на 2414, и заменять другие метки выбранной меткой на 2416. На 2418, блок 132 анализа рисков может формировать помеченную матрицу.

[0276] Для дополнительного объединения кластеров, связность которых может теряться в ходе описанного процесса, блок 132 анализа рисков может дополнительно обрабатывать каждый из кластеров. Маска кластера может быть расширена кружком радиусом nn в качестве структурирующего элемента, и можно определить соседние кластеры, которые включают в себя пиксели в расширенной области. Определенным пикселям соседних кластеров может быть повторно назначено значение метки расширенного кластера. Таким образом, результирующая помеченная матрица может включать в себя помеченные области на расстоянии друг от друга, большем nn. Маски риска могут быть получены из помеченной матрицы путем задания новой матрицы того же размера и назначения значения ʺ1ʺ для конкретной метки и значения ʺ0ʺ для других значений в помеченной матрице.

[0277] Охватывающие многоугольники кластеров риска можно определить с использованием масок рисков и данных совмещения GPS областей. Маски рисков могут быть расширены кружком заданного радиуса в качестве структурирующего элемента. Затем можно извлекать и обрабатывать последовательность координат границ расширенной маски, например, путем использования метода Рамера-Дугласа-Пекера, с использованием в качестве параметра того же значения, как для радиуса структурирующего элемента операции расширения. Использование одного и того же значения параметра позволяет гарантировать, что многоугольник включает в себя пиксели всех масок и может только касаться границ риска. Результирующие координаты пикселей охватывающего многоугольника можно преобразовывать в систему координат GPS с использованием данных совмещения GPS области.

[0278] Обнаруженные кластеры рисков также можно сравнивать с кластерами рисков из результатов анализа предыдущего контроля. С этой целью, можно использовать маски риска, списки параметров риска, данные совмещения GPS областей и карты высот области из исторической обработки, в зависимости от типа риска. Предыдущие области, которые представляют те же зоны, что и текущая область, можно определить путем использования ID инфраструктурных объектов, с положениями которых связаны маски области, или путем использования данных совмещения GPS областей и координат углов области. Координаты пикселя в пространстве области <X, Y> углов новой области можно переводить в положения по GPS с использованием данных совмещения GPS области. Результирующие положения по GPS можно переводить в системы координат предыдущих областей, с использованием соответствующих данных совмещения GPS области. Результирующие координаты можно сначала проверять на предмет нахождения внутри соответствующих рамок предыдущей области и наоборот, и затем можно проверять стороны новой области на предмет пересечения со сторонами предыдущих областей. Если одна из проверок указывает пересечение, области можно рассматривать как пересекающиеся и, таким образом, представляющие одну и ту же область. Последующий анализ может зависеть от типа риска.

[0279] Блок 132 анализа рисков - обнаружение растительности в RoW

[0280] Фиг. 25 иллюстрирует обнаружение растительности в RoW для блока 132 анализа рисков, согласно примеру настоящего изобретения.

[0281] Для примера воздушного контроля опор, в отношении безопасности линий электропередачи, область RoW должна быть свободна растительности или любого другого объекта, то есть любые инвазивные виды или растения следует удалять из области RoW, например, согласно промышленным стандартам.

[0282] Для определения, присутствуют ли блоки растительности в RoW на 2500, блок 132 анализа рисков может использовать маску растительности области и карту высот области, полученные из карт высот области и маски земли области. Блок 132 анализа рисков может определять области растительности с высотой, превышающей данную пороговую величину, thr_height, на 2504 (т.е. пороговую величину высоты). Блок 132 анализа рисков может группировать все области растительности, которые располагается вблизи друг друга, например, в пределах расстояния шести метров.

[0283] Для каждой группы растительности в RoW, блок 132 анализа рисков может определять минимальное расстояние (minimum_distance) между блоком растительности в RoW и областью линий электропередачи, с использованием маски риска, маски области линии электропередачи и пространственного разрешения области. Блок 132 анализа рисков может определять максимальную высоту (maximum_height) блока растительности, с использованием маски риска и карты высот области. Блок 132 анализа рисков может определять площадь (area_value) блока растительности с использованием маски риска, и пространственное разрешение области, например, в квадратных метрах. Блок 132 анализа рисков может определять центральную точку блока с использованием маски риска, и определять координаты GPS для center_point с использованием данных совмещения GPS области.

[0284] В отношении анализа исторических данных, связанных с предыдущими данными 136, блок 132 анализа рисков может анализировать и сравнивать максимальную высоту каждого обнаруженного риска с максимальной высотой одной и той же области из предыдущих данных. С этой целью, можно использовать данные совмещения GPS области и карты высот области из предыдущих данных. Дополнительная матрица карты высот для новой области может выделяться для сохранения значений высоты из предыдущих данных (предыдущей карты высот области). Значения для каждого пикселя предыдущей карты высот можно определить следующим образом: координаты пикселя новой области можно преобразовывать в положение по GPS, и затем преобразовывать в координаты пикселя предыдущих областей. Если результирующие координаты пикселя находятся в рамках предыдущих областей, значения пикселей из карты высот предыдущих областей можно использовать для предыдущей карты высот области. Максимальное значение пикселей предыдущей карты высот области внутри кластера риска можно использовать для сравнения с новым максимальным значением высоты, и результат сравнения (разность значений) можно использовать в качестве еще одного количественного параметра риска. В случае значительного увеличения высоты, может формироваться предупреждение.

[0285] Блок 132 анализа рисков - обнаружение высоких деревьев

[0286] Фиг. 26 иллюстрирует обнаружение высоких деревьев для блока 132 анализа рисков, согласно примеру настоящего изобретения.

[0287] Для идентификации наличия высоких деревьев вокруг линий электропередачи и оценки риска, связанного с такими деревьями, блок 132 анализа рисков может включать в себя функцию, которая обнаруживает высокие деревья.

[0288] Согласно фиг. 26, для идентификации деревьев, которые могут быть случаем риска, блок 132 анализа рисков может использовать маску растительности области, маску области линии электропередачи, параметры кривой линий электропередачи и карту высот области, полученную из карт высот области и маски земли области. Блок 132 анализа рисков может отбрасывать пиксели растительности, где деревья не могут падать под линией электропередачи, выбирая пиксели, соответствующая высота которых меньше расстояния до линий (d). Остальные пиксели можно включать в риски, поскольку деревья, соответствующие этим пикселям, могут падать под линиями электропередачи (и деревья, которые могут падать на линии электропередачи, будут включены в это множество). Для всех ʺрисковыхʺ пикселей растительности, блок 132 анализа рисков может определять минимальную высоту 2600, при которой дерево, находящееся в этом пикселе, может падать на линии электропередачи, следующим образом:

уравнение (35)

В уравнении (35), d может представлять расстояние между деревом и областью линий электропередачи (т.е. зоной области линии 2506), и высота 2602 линии может представлять высоту линий электропередачи, определенную с использованием параметров кривой линии электропередачи. Блок 132 анализа рисков может идентифицировать пиксели, значение высоты которых больше min_height_fall, и группу пикселей, находящихся вблизи друг друга, в пределах заданного расстояния (например, шести метров). Для всех пикселей в каждой группе, блок 132 анализа рисков может определять максимальное расстояние 2604, при котором данное дерево может падать на линии электропередачи, следующим образом:

уравнение (36)

[0289] Для всех высоких деревьев в каждой группе, блок 132 анализа рисков может определять вероятность падения в области линий электропередачи, L, следующим образом:

уравнение (37)

В уравнении (37), α можно оценивать следующим образом:

уравнение (38)

[0290] Для всех высоких деревьев в каждой группе, блок 132 анализа рисков может идентифицировать наиболее опасные деревья, которые соответствуют деревьям с максимальной вероятностью в каждой группе следующим образом:

уравнение (39)

[0291] Для оценивания количественных параметров рисков, блок 132 анализа рисков может определять расстояние между наиболее опасным деревом в каждом кластере и областью линий электропередачи (distance) путем использования маски риска, маски линий электропередачи области, и пространственное разрешение области. Координаты пикселя наиболее опасного дерева можно оценивать и преобразовывать в положения по GPS (dangerous_point) с использованием данных совмещения GPS анализируемой области. Путем использования карты высот, блок 132 анализа рисков может идентифицировать высоту наиболее опасного дерева (dangerous_height). Путем использования карты высот, блок 132 анализа рисков может определять максимальную высоту (maximum_height) группы высоких деревьев. Блок 132 анализа рисков может определять минимальное расстояние (distance) между блоком опасных деревьев и областью линий электропередачи с использованием маски риска, маски линий электропередачи области и пространственного разрешения области. Площадь (area_value) блока опасных деревьев можно определить с использованием маски риска и пространственного разрешения области.

[0292] Для анализа и сравнения каждого обнаруженного риска с историческими рисками из предыдущих данных 136, блок 132 анализа рисков может использовать данные совмещения GPS области и списки рисков из предыдущих данных. Блок 132 анализа рисков может выбирать высокие деревья из предыдущих областей, которые представляют ту же зону. Координаты GPS этих деревьев можно преобразовывать в координаты пикселя в текущей области, и если любые из этих координат принадлежат анализируемому риску, может обрабатываться максимальная предыдущая вероятность падения на линии электропередачи из них. Разность новой и предыдущей вероятности падения на линии электропередачи для рисков может храниться как дополнительный количественный параметр риска.

[0293] Блок 132 анализа рисков - обнаружение высоких антропогенных объектов

[0294] Аналогично тому, как деревья могут создавать риск для объектов, связанных с электрическими установками, высокие объекты любого другого типа могут создавать в общем аналогичный риск для объектов (например, электрических установок, опор, зданий, трубопроводов и т.д.). В связи с этим, блок 132 анализа рисков может обнаруживать антропогенные объекты, высота которых превышает указанное значение.

[0295] Для определения, присутствуют ли блоки высоких антропогенных объектов в области, блок 132 анализа рисков может использовать маску антропогенных объектов области и карту высот области. Блок 132 анализа рисков может определять точки антропогенных объектов с высотой, превышающей данную пороговую величину высоты (thr_height). Блок 132 анализа рисков может группировать области антропогенных объектов, которые располагаются ближе заданного расстояния (например, шести метров).

[0296] Для каждого блока антропогенных объектов, блок 132 анализа рисков может определять координаты центральной точки (center_point) блока антропогенных объектов с использованием маски риска, и определять координаты GPS для center_point с использованием данных совмещения GPS области. Блок 132 анализа рисков может определять высоту (maximum_height) самой высокой точки в блоке с использованием маски риска и карты высот области. Блок 132 анализа рисков может определять полную площадь (area_value) блока антропогенных объектов на основании маски риска и пространственного разрешения области. Блок 132 анализа рисков может определять минимальное расстояние (distance) между зоной риска и областью линий электропередачи с использованием маски риска, маски области линии электропередачи и пространственного разрешения области.

[0297] В отношении анализа исторических данных (например, из предыдущих данных 136), блок 132 анализа рисков может анализировать и сравнивать каждый обнаруженный риск с рисками, найденными в прошлом (историческими рисками). Координаты GPS предыдущих рисков из предыдущих областей, которые представляют те же область можно использовать для нахождения соответствующих антропогенных объектов. При наличии предыдущих рисков, достаточно близких к новому риску с аналогичными параметрами (т.е. максимальной высотой, площадью), обратная связь с пользователем или метки клиентской системы для предыдущего риска можно использовать, чтобы аналогично отмечать новый риск (например, «ошибка в обнаружении» или «санкционированный объект»). В качестве альтернативы, можно использовать координаты GPS санкционированных зданий из клиентской системы.

[0298] Блок 132 анализа рисков - обнаружение антропогенных объектов и растительности в области линий электропередачи

[0299] Для примера воздушного контроля опор, случай риска для линий электропередачи включает в себя наличие антропогенных объектов или растущей растительности под линиями электропередачи, что может создавать опасность для линий электропередачи или повреждать их. В связи с этим, в идеале, область под линиями электропередачи должна быть свободна. В связи с этим, блок 132 анализа рисков может обнаруживать наличие или отсутствие антропогенных объектов и/или растительности в области линий электропередачи.

[0300] Для определения, существуют ли блоки антропогенных объектов и/или растительность в области линий электропередачи, блок 132 анализа рисков может использовать маску растительности области, маску антропогенных объектов области, маску линий электропередачи области и карту высот области, полученную из карты высот области и маски земли области. Блок 132 анализа рисков может идентифицировать точки антропогенных объектов/растительности под линиями электропередачи с высотой, превышающей данную пороговую величину высоты, thr_height. Блок 132 анализа рисков может группировать блоки антропогенных объектов /растительности, когда они отстоят друг от друга меньше, чем на заданное расстояние, например, шесть метров.

[0301] Для каждого блока антропогенных объектов/растительности, блок 132 анализа рисков может идентифицировать координаты center_point блока антропогенных объектов/растительности, с использованием маски риска, и определять координаты GPS center_point с использованием данных совмещения GPS области. Блок 132 анализа рисков может определять высоту (maximum_height) самого высокого антропогенного объекта/дерева в блоке с использованием маски риска и карты высот области. Кроме того, блок 132 анализа рисков может определять полную площадь (area_value) блока антропогенных объектов/растительности с использованием маски риска и пространственного разрешения области.

[0302] В отношении анализа исторических данных (т.е. на основании предыдущих данных 136), блок 132 анализа рисков может анализировать каждый обнаруженный риск таким же образом, как для растительности и антропогенных объектов, в зависимости от конкретного типа кластера.

[0303] Блок 132 анализа рисков - определение минимального просвета линии электропередачи

[0304] фиг. 27 иллюстрирует определение минимального просвета линии электропередачи для блока 132 анализа рисков, согласно примеру настоящего изобретения.

[0305] Согласно фиг. 27, в отношении определения минимального просвета линии электропередачи, блок 132 анализа рисков может определять уровень 2502 земли в анализируемой области путем использования маски земли и карты высот. Блок 132 анализа рисков может определять минимальный просвет 2700 на основании наименьшего расстояния от линии 2702 электропередачи до уровня 2502 земли для всех линий электропередачи.

[0306] Для каждого из параметров кривой линии электропередачи, принятых от блока 130 реконструкции трехмерной кривой, блок 132 анализа рисков может извлекать значения высоты земли a_ground из составленной карты высот области земли, для пикселей, лежащих на линии x=k*y+t, ограниченной координатами Y соответствующих опор. Для каждого такого пикселя, высоту соответствующей линии электропередачи можно определить с использованием второго уравнения кривой: a_line=a*y²+b*y+c. Затем минимальный просвет для этой линии электропередачи можно определить как минимальное значение из всех значений (a_line-a_ground) для выбранных пикселей.

[0307] Если количество обнаруженных кривых меньше предполагаемого количества линий электропередачи между опорами, или если результирующая кривая оказывается слишком близко к земле (значение минимального просвета для этой линии меньше заданной пороговой величины), также можно соответственно обновлять параметры количества пропавших или поврежденных линий между опорами.

[0308] Блок 142 консолидации рисков - консолидация рисков

[0309] Фиг. 28 и 29 иллюстрируют консолидацию рисков для блока 142 консолидации рисков системы 100, согласно примеру настоящего изобретения.

[0310] В отношении консолидации рисков, согласно фиг. 28, входные сигналы блока 142 консолидации рисков могут включать в себя данные 706 совмещения GPS областей, пространственное разрешение 714 областей, GPS-позиционирование инфраструктурных объектов для каждого фрагмента 2800, параметры 2104 риска для каждого риска в каждой области, и многоугольники 2106 риска и маски 2108 риска для ареальных типов рисков. Блок 142 консолидации рисков может формировать консолидированное GPS-позиционирование 2802 инфраструктурных объектов и, для каждого риска, консолидированные параметры 2804 риска, консолидированные многоугольники 2806 риска и консолидированные маски 2808 риска. Консолидированное GPS-позиционирование 2802 инфраструктурных объектов, консолидированные параметры 2804 риска, консолидированные многоугольники 2806 риска и консолидированные маски 2808 риска можно пересылать на клиентский пользовательский интерфейс 140.

[0311] Фиг. 29 иллюстрирует высокоуровневую последовательность операций консолидации рисков «ареального» типа, согласно примеру настоящего изобретения. В отношении обработки, связанной с консолидацией рисков в общем для каждого риска «ареального» типа (высоких деревьев, растительности, антропогенных объектов и т.д.), блок 142 консолидации рисков может определять риски, которые пересекаются друг с другом и, таким образом, должны объединяться в один.

[0312] Согласно фиг. 29, обработка, связанная с консолидацией рисков, может начинаться на блоке 2900. Для каждой области внутри каждого фрагмента (блок 2902), блок 142 консолидации рисков может обрабатывать области по одному и поддерживать список ранее обработанных областей и группы пересекающихся рисков из ранее обработанных областей. Для каждой вновь добавленной области блок 142 консолидации рисков может определять ранее обработанные области, которые пересекаются с новой областью. Для проверки пересечения можно использовать углы области. Координаты пикселя в пространстве области <X, Y> углов новой области можно переводить в положения по GPS с использованием данных совмещения GPS области. Результирующие положения по GPS можно переводить в системы координат ранее обработанных областей, с использованием соответствующих данных совмещения GPS области. Сначала результирующие координаты можно проверять на предмет нахождения внутри рамок соответствующей другой области и наоборот, и затем, стороны новой области можно проверять на предмет пересечения со сторонами других областей. Если одна из проверок указывает пересечение, области можно рассматривать как пересекающиеся. Для каждого риска в новой области (блок 2906), блок 142 консолидации рисков может создавать новую группу рисков и размещать новый риск в новой группе (блок 2908). Согласно примеру, предполагается, что полная площадь этой новой группы равна площади нового риска. Для каждой существующей группы рисков (блок 2910), блок 142 консолидации рисков может определять, существуют ли риски из пересекающихся областей (блок 2912). В ответ на определение на блоке 2912, что риски из пересекающихся областей существуют, блок 142 консолидации рисков может определять, пересекаются ли маски для рисков, определенные на блоке 2912, с маской нового риска (блок 2914). Для определения пересечения, можно обрабатывать пиксели маски нового риска со значением «1». Координаты каждого такого пикселя можно преобразовывать в положение по GPS и затем преобразовывать в систему координат другой маски риска с использованием данных совмещения GPS области. Если значение другой маски риска в результирующих координатах равно «1», пиксель можно рассматривать как пересекающиеся с другой маской риска. С использованием количества пересекающихся пикселей и пространственного разрешения области, можно определить полную площадь пересечения в квадратных метрах. В ответ на определение, что маски для рисков, определенные на блоке 2912, пересекаются с новой маской риска на блоке 2914, блок 142 консолидации рисков может объединять эту группу с новой группой риска (блок 2916). Затем полную площадь группы можно увеличить на площадь новой группы риска, за минусом площади пересечения. Если новый риск пересекается с более чем одной группой, можно добавлять все эти группы. Кроме того, на блоке 2918, блок 142 консолидации рисков может объединять риски внутри групп, и обработка, связанная с консолидацией рисков, может выполняться на блоке 2920. Этот метод позволяет гарантировать, что полная площадь группы остается верной, и что все перекрывающиеся риски выглядят находящимися в одной и той же группе.

[0313] Для определения параметров объединенного риска, можно использовать параметры всех исходных рисков. Например, для определения максимальной высоты риска, можно использовать максимальную из всех максимальных высот исходных рисков. Координаты GPS и другие параметры наиболее опасного дерева (для риска типа высоких деревьев) можно определить из риска с наибольшей вероятностью падения опасного дерева на линии (или наивысшим отношением между высотой и расстоянием до линий для наиболее опасных деревьев в исходных рисков, если вероятность падения на линии равна нулю). Риск можно отбрасывать, если по меньшей мере один из исходных рисков призван отброшенным в ходе анализа риска блоком 132 анализа рисков (например, если риск имеет метку «ошибка в обнаружении» или «санкционированный объект»).

[0314] Для определения объединенного охватывающего многоугольника риска, можно объединять охватывающие многоугольники исходных рисков. Результирующий охватывающий многоугольник и атрибуты риска могут сохраняться, например, в формате файла SHAPEFILE, подлежащего отображению, например, на клиентском пользовательском интерфейсе 140.

[0315] Использовать объединенные маски рисков также может быть полезно для повышения производительности клиентского пользовательского интерфейса 140, поскольку для одновременного отображения многих многоугольников блокам просмотра онлайновых карт может потребоваться слишком много ресурсов. Для подготовки данных для клиентского пользовательского интерфейса 140, блок 142 консолидации рисков может преобразовывать маски риска области таким образом, что пиксели со значением «0» становятся полностью прозрачными, и пиксели со значением «1» получают заданный цвет. Блок 142 консолидации рисков может использовать различные цвета для масок рисков из различных групп, или для всех масок можно использовать один цвет.

[0316] Для каждого риска инфраструктурного типа (например, риска пропажи линии электропередачи, риска минимального просвета, риска наклона опоры линии электропередачи и т.д.), блок 142 консолидации рисков может объединять все риски, которые представляют одни и те же инфраструктурные объекты (например, опоры или линии электропередачи между двумя опорами), где числовые параметры объединенного риска могут быть арифметическим средством, минимумом или максимумом начальных значений в зависимости от предпочтений системы для каждого типа риска.

[0317] Клиентский пользовательский интерфейс 140 - поток данных

[0318] Фиг. 30 иллюстрирует поток данных клиентского пользовательского интерфейса 140, связанный с системой 100, согласно примеру настоящего изобретения.

[0319] Согласно фиг. 30, поток данных клиентского пользовательского интерфейса 140 может включать в себя прием и отображение (при необходимости) изображений 104 от датчиков 120 транспортного средства для транспортного средства 106, ортофотоплан 406 и данные 408 совмещения GPS изображений от блока 102 формирования трехмерной модели, оцененный уровень 700 высоты земли изображений от блока 124 распознавания объектов и консолидированное GPS-позиционирование 2802 инфраструктурных объектов, консолидированные параметры 2804 риска и консолидированные многоугольники 2806 риска, и консолидированные маски 2808 риска от блока 142 консолидации рисков для рисков «ареального» типа.

[0320] Клиентский пользовательский интерфейс 140 может быть реализован, например, с использованием языка программирования Java и веб-сервера Apache Tomcat, и может использовать входные данные в ходе подготовки данных в автономном режиме и онлайнового выполнения рабочего цикла.

[0321] Клиентский пользовательский интерфейс 140 - подготовка данных

[0322] В отношении подготовки данных, некоторые системные данные могут заранее подготавливаться для отображения, например, на публичных онлайновых картах мира. Например, ортофотоплан и консолидированные маски рисков можно преобразовывать в надлежащий формат (т.е. GOOGLE KMZ, TIFF с географической привязкой или другой формат для изображений с географической привязкой), и исходные изображения 104 можно масштабировать для ускоренного переноса на браузер пользователя.

[0323] Для отображения растровый слой поверх спутникового или другого фонового изображения (например, ортофотоплана или рисковых областей), данные можно представлять в виде мозаики, где каждый элемент мозаики может представлять изображение с географической привязкой. Для некоторых онлайновых карт, элементы мозаики могут быть квадратными. Ортофотопланы в формате KMZ можно разархивировать в изображения и файлы в формате Keyhole Markup Language (KML), включающие в себя информацию привязки к GPS для изображений. Результирующие изображения и маски области риска могут обрабатываться отдельно для получения мозаичного представления для каждого изображения и каждой маски, согласно требованиям выбранных онлайновых карт. Результирующие мозаичные представления можно объединять друг с другом, например, путем выбора цвета пикселя с минимальным значением прозрачности для каждого пикселя каждого элемента мозаики.

[0324] Клиентский пользовательский интерфейс 140 - выполнение рабочего цикла

[0325] Фиг. 31 иллюстрирует клиентский пользовательский интерфейс 140, согласно примеру настоящего изобретения.

[0326] Согласно фиг. 31, клиентский пользовательский интерфейс 140 может включать в себя меню на 3100 для выбора типов риска, подлежащих отображению на 3102. Статистическая информация для типов риска из меню на 3100 может отображаться на 3104. Клиентский пользовательский интерфейс 140 может включать в себя другие аспекты, например, имя контролируемой области, данные полета, ортофотоплан, риски (растровое или векторное) представление, спутниковую карту и векторное представление инфраструктурных объектов, как показано на фиг. 31.

[0327] Пользователь может просматривать исходные изображения с использованием клиентского пользовательского интерфейса 140. Для просмотра списка изображений, которые включают в себя конкретное положение по GPS, которое может быть интересно пользователю, пользователь может щелкнуть по карте. Для получения желаемого списка изображений, клиентский пользовательский интерфейс 140 может использовать данные совмещения GPS изображений и оцененный уровень высоты земли изображений. Для каждого изображения, координаты центра изображения можно преобразовывать в положение по GPS. Если координата слишком далека от изображения, последующий анализ может не осуществляться. В другом случае положение по GPS можно преобразовывать в систему координат изображения, и координаты результирующей точки можно проверять для включения в границы изображения. Пользователь может выбирать изображения из списка изображений для конкретного положения по GPS для более детального просмотра на отдельной странице.

[0328] Пользователь может выбирать риски на карте, щелкая по их векторному представлению (либо охватывающему многоугольнику, либо по пиктограмме, представляющей их центральную точку, либо, например, наиболее опасному дереву в зависимости от типа риска), и соответствующие детали риска из таблицы 3102 могут выделяться и соответствующий охватывающий многоугольник риска может отображаться (если соответствующий охватывающий многоугольник риска первоначально не отображался) или выделяться изменением цвета. Пользователь также может выбрать риски из таблицы 3102, и соответствующий риск можно выделять на карте либо изменением цвета охватывающего многоугольника, либо отображением охватывающего многоугольника (если охватывающий многоугольник первоначально не отображался).

[0329] Пользователь может выбирать интересующие области на карте с помощью инструмента выбора многоугольника, последовательно выбирая вершины многоугольника. Многоугольник (или несколько многоугольников, введенных пользователем) можно упростить, и можно определить полную выбранную область и область включенных рисков растительности и/или высоких деревьев или других рисков (с использованием охватывающих многоугольников рисков). Выбор и его определенные параметры можно переносить на клиентские системы для распределения заказов на вырубку леса.

[0330] Элементами системы 100 могут быть машиночитаемые инструкции, хранящиеся на постоянном машиночитаемом носителе. В связи с этим, система 100 может включать в себя или представлять собой постоянный машиночитаемый носитель. В качестве дополнения или альтернативы, элементы устройства 100 могут представлять собой аппаратное обеспечение или сочетание машиночитаемых инструкций и аппаратного обеспечения.

[0331] Способ обнаружения состояния с использованием обработки изображений

[0332] Фиг. 32 и 33 иллюстрируют блок-схемы операций способов 3200 и 3300 для обнаружения состояния с использованием обработки изображений, согласно примерам. Способы 3200 и 3300 можно реализовать в системе 100 обнаружения состояния с использованием обработки изображений, описанной выше со ссылкой на фиг. 1-31 в порядке примера, но не ограничения. Способы 3200 и 3300 можно осуществлять на практике в других системах.

[0333] Согласно фиг. 1-32 и, в частности, фиг. 32, на блоке 3202, способ 3200 может включать в себя прием (например, блоком 132 анализа рисков) по меньшей мере одной маски, сформированной из изображений 104 и телеметрических данных 110, захваченных транспортным средством 106, карты высот и данных совмещения для по меньшей мере одной маски. Изображения 104 могут быть связаны с перемещением транспортного средства 106 по траектории 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и телеметрические данные 110 могут включать в себя информацию журнала перемещения, относящуюся к перемещению транспортного средства 106 по траектории 108 транспортного средства.

[0334] На блоке 3204, способ 3200 может включать в себя использование (например, блоком 132 анализа рисков) по меньшей мере одной маски, связанной с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством анализа по меньшей мере одной маски, связанной с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и инфраструктурного правила, и определения, нарушено ли инфраструктурное правило.

[0335] Согласно примерам, для способа 3200, блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, данные совмещения для по меньшей мере одной маски, и инфраструктурное правило для обнаружения риска, связанного с инфраструктурным объектом, посредством идентификации по меньшей мере одного условия инфраструктурного правила, связанного с инфраструктурным объектом, и определения, выполняется ли условие инфраструктурного правила по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Кроме того, в ответ на определение того, что условие инфраструктурного правила выполняется или не выполняется по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, блок 132 анализа рисков может определять риск, связанный с инфраструктурным объектом по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0336] Согласно примерам, для способа 3200 по меньшей мере одно условие инфраструктурного правила может включать в себя удовлетворение требованию пороговой высоты, и где блок 132 анализа рисков может дополнительно определять, удовлетворяется ли требование пороговой высоты или пороговая высота превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта посредством определения уровня земли в области анализа путем использования маски земли и карты высот, связанной с областью анализа, определения карты высот путем использования уровня земли и карты высот, связанной с областью анализа, и идентификации, путем использования карты высот по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, которая включает в себя высоту, которая превышает пороговую высоту.

[0337] Согласно примерам, для способа 3200, блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством определения высоты, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект, причем риск может включать в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и формирования группы путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого фактическая высота превышает высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект.

[0338] Согласно примерам, для способа 3200, блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством определения высоты, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть в указанную область, причем риск может включать в себя падение в указанную область по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0339] Согласно примерам, для способа 3200, блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством определения вероятности падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект, причем риск может включать в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0340] Согласно примерам, для способа 3200 блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством определения вероятности падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект, причем риск может включать в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Кроме того, блок 132 анализа рисков может формировать группу путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого вероятность больше заданной пороговой величины, и определения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в группе, которая включает в себя максимальную вероятность риска падения на инфраструктурный объект.

[0341] Согласно примерам, для способа 3200, блок 132 анализа рисков может определять расстояние между по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в группе, которая включает в себя максимальную вероятность риска падения на инфраструктурный объект.

[0342] Согласно примерам, для способа 3200, блок 132 анализа рисков может использовать по меньшей мере одну маску, связанную с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, исторический маски, исторический карты высот, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством сравнения риска падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект с историческими рисками падения на инфраструктурный объект. Кроме того, блок 132 анализа рисков может определять, превышает ли максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект, исторический риск из исторических рисков падения на инфраструктурный объект, и в ответ на определение того, что максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект превышает исторический риск из исторических рисков падения на инфраструктурный объект, формировать предупреждение, связанное с риском падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект.

[0343] Согласно примерам, для способа 3200, блок 142 консолидации рисков может использовать маски риска, полученные из по меньшей мере одной маски, связанной с траекторией 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и данных совмещения для по меньшей мере одной маски, для объединения, на основании анализа масок риска и данных совмещения областей, рисков одного и того же типа, расположенных в различных областях, в одно и то же положение.

[0344] Согласно примерам, для способа 3200, инфраструктурные объекты могут включать в себя инфраструктурный объект, включающий в себя опору и линию электропередачи для энергосистемы.

[0345] Согласно примерам, для способа 3200, транспортным средством 106 может быть UAV, и журнал перемещения может включать в себя журнал полета.

[0346] Согласно примерам, для способа 3200, пользовательский интерфейс может формировать отображение риска из множества доступных рисков и по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0347] Согласно фиг. 1-33 и, в частности фиг. 33, на блоке 3302, способ 3300 может включать в себя прием блоком 132 анализа рисков по меньшей мере одной маски, сформированной из изображений 104 и телеметрических данных 110, захваченных транспортным средством 106, карты высот и данных совмещения для по меньшей мере одной маски. Изображения 104 могут быть связаны с перемещением транспортного средства 106 по траектории 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и телеметрические данные 110 могут включать в себя информацию журнала перемещения, относящуюся к перемещению транспортного средства 106 по траектории 108 транспортного средства.

[0348] На блоке 3304, способ 3300 может включать в себя идентификацию блоком 132 анализа рисков границы, связанной с положением инфраструктурного объекта.

[0349] На блоке 3306, способ 3300 может включать в себя определение блоком 132 анализа рисков нарушается ли граница по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0350] На блоке 3308, способ 3300 может включать в себя определение блоком 132 анализа рисков в ответ на определение того, что граница нарушается по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

[0351] Согласно примерам, способ 3300 может включать в себя использование блоком 142 консолидации рисков, который реализуется по меньшей мере одним аппаратным процессором, масок риска, полученных из по меньшей мере одной маски, связанной с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта для объединения, на основании анализа масок риска и данных совмещения областей, рисков одного и того же типа, расположенных в различных областях, в одно и то же положение.

[0352] Согласно примерам, способ 3300 для обнаружения состояния с использованием обработки изображений может включать в себя прием блоком 132 анализа рисков, который реализуется по меньшей мере одним аппаратным процессором по меньшей мере одной маски, сформированной из изображений 104 и телеметрических данных 110, захваченных транспортным средством 106. Изображения 104 могут быть связаны с перемещением транспортного средства 106 по траектории 108 транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Способ обнаружения состояния с использованием обработки изображений может дополнительно включать в себя идентификацию блоком 132 анализа рисков пороговой величины, связанной с инфраструктурным объектом, и определение блоком 132 анализа рисков, удовлетворяется ли требование по пороговой величине или пороговая величина превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Способ обнаружения состояния с использованием обработки изображений может дополнительно включать в себя определение блоком 132 анализа рисков в ответ на определение того, что пороговая величина удовлетворяется или превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Для способа обнаружения состояния с использованием обработки изображений пороговая величина может включать в себя угловую пороговую величину, и где определение блоком 132 анализа рисков, удовлетворяется ли требование по пороговой величине или пороговая величина превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может включать в себя идентификацию блоком 132 анализа рисков по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, который полностью или частично расположен в пределах угловой пороговой величины для контакта с инфраструктурным объектом. Для способа обнаружения состояния с использованием обработки изображений, определение блоком 132 анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может включать в себя определение блоком 132 анализа рисков высоты, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект, причем риск может включать в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и формирование блоком 132 анализа рисков группы путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого фактическая высота превышает высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект. Для способа обнаружения состояния с использованием обработки изображений определение блоком 132 анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может дополнительно включать в себя определение блоком 132 анализа рисков вероятности падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в указанную область, причем риск может включать в себя падение в указанную область по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта. Для способа обнаружения состояния с использованием обработки изображений, определение блоком 132 анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может дополнительно включать в себя сравнение блоком 132 анализа рисков риска падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект с историческими рисками падения на инфраструктурный объект, определение блоком 132 анализа рисков, превышает ли максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект, исторический риск из исторических рисков падения на инфраструктурный объект, и в ответ на определение того, что максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект превышает исторический риск из исторических рисков падения на инфраструктурный объект, формирование блоком 132 анализа рисков, предупреждения, связанного с риском падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект.

[0353] Компьютерная система

[0354] На фиг. 34 показана компьютерная система 3400, которую можно использовать с описанными здесь примерами. Компьютерная система может представлять универсальную платформу, которая включает в себя компоненты, которые могут располагаться на сервере или другой компьютерной системе. Компьютерную систему 3400 можно использовать как платформу для системы 100. Компьютерная система 3400 может выполнять, процессором (например, одним или более процессорами) или другой аппаратной схемной обработки, способы, функции и другие описанные здесь процессы. Эти способы, функции и другие процессы можно реализовать в виде машиночитаемых инструкций, хранящихся на машиночитаемом носителе, который может быть постоянным, например, аппаратным запоминающим устройством (например, RAM (оперативной памятью), ROM (постоянной памятью), EPROM (стираемой программируемой ROM), EEPROM (электрически стираемой программируемой ROM), жесткими дисками и флеш-памятью).

[0355] Компьютерная система 3400 может включать в себя процессор 3402, который может осуществлять или исполнять машиночитаемые инструкции, реализующие некоторые или все из способов, функций и других описанных здесь процессов. Команды и данные от процессора 3402 могут передаваться по шине 3404 связи. Компьютерная система также может включать в себя основную память 3406, например, оперативную память (RAM), где могут располагаться машиночитаемые инструкции и данные для процессора 3402 в ходе рабочего цикла, и вторичное хранилище 3408 данных, которое может быть энергонезависимой и где могут храниться машиночитаемые инструкции и данные. Память и хранилище данных являются примерами машиночитаемых носителей. Память 3406 может включать в себя обнаружение состояния с использованием процессора 3420 изображения, включающая в себя машиночитаемые инструкции, присутствующие в памяти 3406 в ходе рабочего цикла и исполняемые процессором 3402. Обнаружение состояния с использованием процессора 3420 изображения может включать в себя элементы системы 100, показанной на фиг. 1.

[0356] Компьютерная система 3400 может включать в себя устройство 3410 I/O, например, клавиатуру, мышь, дисплей и т.д. Компьютерная система может включать в себя сетевой интерфейс 3412 для подключения к сети. Другие известные электронные компоненты можно добавлять в компьютерную систему или исключать из нее.

[0357] Описанное и проиллюстрированное в настоящем документе является примером вместе с некоторыми его вариациями. Используемые здесь термины, описание и чертежи приведены лишь в порядке иллюстрации и не рассматриваются как ограничения. В пределах сущности и объема объекта изобретения, определяемого нижеследующей формулой изобретения и ее эквивалентами, возможны многочисленные вариации, причём все термины следует понимать в самом широком в разумных пределах смысле, если не указано иное.

Обнаружение состояния с использованием обработки изображений включает в себя прием маски, сформированной из изображений и телеметрических данных, захваченных транспортным средством (ТС), карты высот и данных совмещения для маски. Изображения связаны с перемещением ТС по траектории ТС и неинфраструктурными объектами вдоль положения инфраструктурного объекта. Телеметрические данные включают в себя информацию журнала перемещения, относящуюся к перемещению ТС по траектории ТС. Используют маску, связанную с траекторией ТС и неинфраструктурными объектами, и инфраструктурное правило для обнаружения риска, связанного с инфраструктурным объектом, посредством анализа маски, связанной с траекторией ТС и неинфраструктурными объектами, и инфраструктурного правила. Определяют, нарушено ли инфраструктурное правило. Использование автоматического или автоматизированного анализа данных на основе имущества уменьшает затраты, повышает надежность и производительность. 3 н. и 17 з.п. ф-лы, 36 ил.

1. Система обнаружения состояния с использованием обработки изображений, содержащая:

блок анализа рисков, реализуемый по меньшей мере одним аппаратным процессором, для

приема по меньшей мере одной маски, сформированной из изображений и телеметрических данных, захваченных транспортным средством, карты высот и данных совмещения для по меньшей мере одной маски, причем

изображения связаны с перемещением транспортного средства по траектории транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и

телеметрические данные включают в себя информацию журнала перемещения, относящуюся к перемещению транспортного средства по траектории транспортного средства, и

использования по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

анализа по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и инфраструктурного правила,

определения, нарушено ли инфраструктурное правило, и

определения вероятности падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект, причем риск включает в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

2. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой блок анализа рисков служит для использования по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

идентификации по меньшей мере одного условия инфраструктурного правила, связанного с инфраструктурным объектом,

определения, выполняется или не выполняется условие инфраструктурного правила по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и

в ответ на определение того, что условие инфраструктурного правила выполняется или не выполняется по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, определения риска, связанного с инфраструктурным объектом, от по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

3. Система обнаружения состояния с использованием обработки изображений по п. 2, в которой по меньшей мере одно условие инфраструктурного правила включает в себя удовлетворение требованию пороговой высоты и блок анализа рисков служит для дополнительного определения, удовлетворяется ли требование пороговой высоты или пороговая высота превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта посредством

определения уровня земли в области анализа путем использования маски земли и карты высот, связанной с областью анализа,

определения карты высот путем использования уровня земли и карты высот, связанной с областью анализа, и

идентификации путем использования карты высот по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, которое включает в себя высоту, которая превышает пороговую высоту.

4. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой блок анализа рисков служит для использования по меньшей мере одной маски, связанной с траекторией транспортного средства и с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

определения высоты, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект, причем риск включает в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и

формирования группы путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого фактическая высота превышает высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект.

5. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой блок анализа рисков служит для использования по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

определения высоты, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть в указанную область, причем риск включает в себя падение в указанную область по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

6. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой блок анализа рисков служит для использования по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

формирования группы путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого вероятность больше заданной пороговой величины, и

определения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в упомянутой группе, который включает в себя максимальную вероятность риска падения на инфраструктурный объект.

7. Система обнаружения состояния с использованием обработки изображений по п. 6, в которой блок анализа рисков дополнительно служит для определения расстояния между по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в упомянутой группе, который включает в себя максимальную вероятность риска падения на инфраструктурный объект.

8. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой блок анализа рисков служит для использования по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта соответствующего инфраструктурного объекта, карты высот, данных совмещения для по меньшей мере одной маски, исторической маски, исторической карты высот, и инфраструктурного правила для обнаружения риска, связанного с инфраструктурным объектом, посредством

сравнения риска падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект с историческими рисками падения на инфраструктурный объект,

определения, превышает ли максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект исторический риск из исторических рисков падения на инфраструктурный объект, и

в ответ на определение того, что максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта соответствующего инфраструктурного объекта на инфраструктурный объект превышает исторический риск из исторических рисков падения на инфраструктурный объект, формирования предупреждения, связанного с риском падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект.

9. Система обнаружения состояния с использованием обработки изображений по п. 1, дополнительно содержащая:

блок консолидации рисков, реализуемый по меньшей мере одним аппаратным процессором, для использования масок риска, полученных из по меньшей мере одной маски, связанной с траекторией транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и данных совмещения для по меньшей мере одной маски, для

объединения рисков одного и того же типа, расположенных в различных областях, в одно и то же положение на основании анализа масок риска и данных совмещения областей.

10. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой инфраструктурные объекты, включающие в себя инфраструктурный объект, включают в себя опору и линию электропередачи для энергосистемы.

11. Система обнаружения состояния с использованием обработки изображений по п. 1, в которой транспортное средство является беспилотным летательным аппаратом (UAV) и журнал перемещения включает в себя журнал полета.

12. Система обнаружения состояния с использованием обработки изображений по п. 1, дополнительно содержащая:

пользовательский интерфейс, реализуемый по меньшей мере одним аппаратным процессором, для формирования отображения риска из множества доступных рисков и по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

13. Способ обнаружения состояния с использованием обработки изображений, причем способ содержит этапы, на которых:

принимают посредством блока анализа рисков, который реализуется по меньшей мере одним аппаратным процессором, по меньшей мере одну маску, сформированную из изображений и телеметрических данных, захваченных транспортным средством, карту высот и данные совмещения для по меньшей мере одной маски, причем

изображения связаны с перемещением транспортного средства по траектории транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, и

телеметрические данные включают в себя информацию журнала перемещения, относящуюся к перемещению транспортного средства по траектории транспортного средства;

идентифицируют посредством блока анализа рисков границу, связанную с положением инфраструктурного объекта;

определяют посредством блока анализа рисков, нарушается ли граница по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта;

в ответ на определение того, что граница нарушается по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, определяют посредством блока анализа рисков риск, связанный с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта; и

используют посредством блока консолидации рисков, который реализуется по меньшей мере одним аппаратным процессором, маски риска, полученные из по меньшей мере одной маски, связанной с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта для

объединения рисков одного и того же типа, расположенных в различных областях, в одно и то же положение на основании анализа масок риска и данных совмещения областей.

14. Аппаратный процессор, запрограммированный машиночитаемыми инструкциями для обнаружения состояния с использованием обработки изображений, причем машиночитаемые инструкции при выполнении предписывают аппаратному процессору:

принимать посредством блока анализа рисков, который реализуется по меньшей мере одним аппаратным процессором, по меньшей мере одну маску, сформированную из изображений и телеметрических данных, захваченных транспортным средством, причем изображения связаны с перемещением транспортного средства по траектории транспортного средства и по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта;

идентифицировать посредством блока анализа рисков угловую пороговую величину, связанную с инфраструктурным объектом;

определять посредством блока анализа рисков, удовлетворяется ли пороговое требование или угловая пороговая величина превышена по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта путём идентификации по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, который полностью или частично расположен в пределах угловой пороговой величины для контакта с инфраструктурным объектом; и

в ответ на определение того, что угловая пороговая величина удовлетворяется или превышается по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, определять посредством блока анализа рисков риск, связанный с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

15. Аппаратный процессор по п. 14, в котором машиночитаемые инструкции для определения блоком анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержат машиночитаемые инструкции, которые при выполнении предписывают аппаратному процессору:

определять посредством блока анализа рисков высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта соответствующего инфраструктурного объекта может упасть на инфраструктурный объект, причем риск включает в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта; и

формировать посредством блока анализа рисков группу путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого фактическая высота превышает высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект.

16. Аппаратный процессор по п. 14, в котором машиночитаемые инструкции для определения блоком анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержат машиночитаемые инструкции, которые при выполнении предписывают аппаратному процессору:

определять посредством блока анализа рисков вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в указанную область, причем риск включает в себя падение в указанную область по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

17. Аппаратный процессор по п. 14, в котором машиночитаемые инструкции для определения блоком анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержат машиночитаемые инструкции, которые при выполнении предписывают аппаратному процессору:

сравнивать посредством блока анализа рисков риск падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект с историческими рисками падения на инфраструктурный объект;

определять посредством блока анализа рисков, превышает ли максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект исторический риск из исторических рисков падения на инфраструктурный объект; и

в ответ на определение того, что максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект превышает исторический риск из исторических рисков падения на инфраструктурный объект, формировать посредством блока анализа рисков предупреждение, связанное с риском падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект.

18. Способ обнаружения состояния с использованием обработки изображений по п. 13, в котором определение блоком анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержит этапы, на которых:

определяют посредством блока анализа рисков высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект, причем риск включает в себя падение на инфраструктурный объект по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта; и

формируют посредством блока анализа рисков группу путем группирования по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, для которого фактическая высота превышает высоту, при которой по меньшей мере один из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта может упасть на инфраструктурный объект.

19. Способ обнаружения состояния с использованием обработки изображений по п. 13, в котором определение посредством блока анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержит этап, на котором:

определяют посредством блока анализа рисков вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта в указанную область, причем риск включает в себя падение в указанную область по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта.

20. Способ обнаружения состояния с использованием обработки изображений по п. 13, в котором определение посредством блока анализа рисков риска, связанного с по меньшей мере одним из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта, дополнительно содержит этапы, на которых:

сравнивают посредством блока анализа рисков риск падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект с историческими рисками падения на инфраструктурный объект;

определяют посредством блока анализа рисков, превышает ли максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект исторический риск из исторических рисков падения на инфраструктурный объект; и

в ответ на определение того, что максимальная вероятность падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект превышает исторический риск из исторических рисков падения на инфраструктурный объект, формируют посредством блока анализа рисков предупреждение, связанное с риском падения по меньшей мере одного из множества неинфраструктурных объектов вдоль положения инфраструктурного объекта для соответствующего инфраструктурного объекта на инфраструктурный объект.