ИЗМЕРИТЕЛЬНАЯ ПЛАТФОРМА, КОТОРАЯ АВТОМАТИЧЕСКИ ОПРЕДЕЛЯЕТ ИЗНОС КОМПОНЕНТОВ МАШИНЫ НА ОСНОВЕ ИЗОБРАЖЕНИЙ Российский патент 2022 года по МПК G06T7/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к системе измерения износа и, более конкретно, к измерительной платформе, которая автоматически определяет износ компонентов машины на основе изображений.

Уровень техники

Машины для земляных работ, такие как экскаваторы, комбайны непрерывного действия и погрузчики, часто содержат рабочие грунтозацепные инструменты, которые зацепляются с различными грунтовыми материалами и/или перемещают их. Машины содержат отслеживаемые ходовые устройства, которые способствуют перемещению машин по поверхностям земли, и другие подвижные части, которые могут зацепляться с поверхностями земли и/или грунтовыми материалами. Многократное воздействие на твердые грунтовые материалы и/или поверхности земли может привести к износу одного или более компонентов этих машин.

Традиционные методы определения износа компонентов машины включают ручные измерения размеров компонента, которые могут сравниваться с конкретными размерами компонентов. Такие ручные измерения не только отнимают время, но также могут быть неточными. Неточные измерения размеров компонента, в свою очередь, могут привести к неверным прогнозам относительно остаточного срока службы компонента. В результате компонент может либо слишком рано повредиться, либо может не износиться достаточно для того, чтобы требовать замены или ремонта, когда машину выводят из эксплуатации для техобслуживания. Таким образом, существует потребность в точном измерении размеров компонента на машине в рабочих условиях, чтобы обеспечить улучшенные прогнозы срока службы компонента, которые могут помочь уменьшить время простоя, связанное с ремонтом или заменой изношенных компонентов.

Одна попытка обеспечить точное измерение размеров компонента на машине раскрыта в патенте США № 9875535, выданном Finch и соавт. 23 января 2018 года («патент ‘535»). В частности, в патенте ‘535 раскрыта система измерения износа, которая содержит устройство отображения, выполненное с возможностью получения двухмерных изображений компонента. Система измерения износа может создавать трехмерное облако точек, представляющее компонент на основе двухмерных изображений, и может выбирать по меньшей мере две референсные точки, присутствующие в каждом из поднабора изображений, выбранных из двухмерных изображений. Система измерения износа может определять местонахождения двух референсных точек в трехмерном облаке точек и может определять расстояние между местонахождениями. Система измерения износа может определять степень износа компонента на основе расстояния.

В то время как система измерения износа согласно патенту ‘535 может определять износ компонентов машины на основе изображений, система измерения износа может не быть полностью автоматической и может требовать выбора вручную (например, с помощью оператора) элементов масштабирования на объекте с известным размером (например, мерной ленте) в нескольких изображениях. Кроме того, система измерения износа может требовать выбора вручную (например, с помощью оператора) референсных точек в нескольких изображениях. Например, оператор может вручную выбирать центральные точки штифтов, которые соединяют соседние звенья ходового устройства машины.

Автоматизация ручного способа выбора элементов масштабирования и референсных точек в изображениях является трудной. Например, автоматический выбор элементов масштабирования на компоненте машины является очень затруднительным из-за освещения, засорения и проблем с настройкой. Даже если элементы масштабирования могут быть выбраны автоматически, шкалы ошибок измерений линейно с ошибкой в масштабе и элементы на компоненте машины не могут контролироваться до миллиметрового уровня при производстве.

Измерительная платформа согласно настоящему изобретению решает одну или более из вышеописанных проблем и/или другие проблемы в данной области техники.

Сущность изобретения

В одном аспекте настоящее изобретение относится к устройству, которое может содержать одно или более запоминающих устройств и один или более процессоров, функционально связанных с одним или более запоминающими устройствами для приема изображений, связанных с компонентом. Один или более процессоров могут принимать трехмерную модель компонента и могут создавать облако точек изображения на основе изображений. Один или более процессоров могут создавать облако точек модели на основе трехмерной модели компонента и могут выполнять первое соотнесение облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек. Один или более процессоров могут выполнять второе соотнесение первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек и могут создавать трехмерные участки маски на основе вторично соотнесенных облаков точек. Один или более процессоров могут проецировать трехмерные участки маски на одно или более изображений и могут обрабатывать трехмерные участки маски, спроецированные на одно или более изображений, для определения референсных точек в изображениях. Один или более процессоров могут определять степень износа, связанную с компонентом, на основе референсных точек.

В другом аспекте настоящее изобретение относится к энергонезависимому машиночитаемому носителю, хранящему команды, которые могут включать одну или более команд, которые при исполнении одним или более процессорами устройства обеспечивают прием одним или более процессорами изображений, связанных с компонентом. Одна или более команд могут обеспечить создание одним или более процессорами облака точек изображения на основе изображений и создание облака точек модели на основе трехмерной модели компонента. Одна или более команд могут обеспечить выполнение одним или более процессорами первого соотнесения облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек и выполнение второго соотнесения первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек. Одна или более команд могут обеспечить создание одним или более процессорами участков маски на основе вторично соотнесенных облаков точек и проецирование участков маски на одно или более изображений. Одна или более команд могут обеспечить обработку одним или более процессорами участков маски, спроецированных на одно или более изображений, определение референсных точек в изображениях и проецирование референсных точек в облаке точек изображения. Одна или более команд могут обеспечить определение одним или более процессорами местонахождений по меньшей мере двух референсных точек, спроецированных в облаке точек изображения, и определение степени износа, связанной с компонентом, на основе местонахождений. Одна или более команд могут обеспечить выполнение одним или более процессорами действия на основе степени износа, связанной с компонентом.

В еще одном аспекте настоящее изобретение относится к способу, который может включать прием устройством изображений, связанных с компонентом машины, и создание устройством облака точек изображения на основе изображений. Способ может включать создание устройством облака точек модели на основе трехмерной модели компонента и выполнение устройством первого соотнесения и масштабирования облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек. Способ может включать выполнение устройством второго соотнесения и масштабирования первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек и создание устройством участков маски на основе вторично соотнесенных облаков точек. Способ может включать проецирование устройством участков маски на изображения и обработку устройством участков маски, спроецированных на изображения, для определения референсных точек в изображениях. Способ может включать проецирование устройством референсных точек в облаке точек изображения и идентификацию устройством местонахождений по меньшей мере двух референсных точек, спроецированных в облаке точек изображения. Способ может включать вычисление устройством расстояния на изображении между местонахождениями и определение устройством степени износа, связанной с компонентом, на основе расстояния на изображении.

Краткое описание графических материалов

На фиг. 1-11 показаны схематические изображения иллюстративных вариантов осуществления измерительной платформы для измерения износа компонентов машины;

на фиг. 12 показано схематическое изображение иллюстративной среды, в которой могут быть реализованы системы и/или способы, описанные в данном документе;

на фиг. 13 показано схематическое изображение иллюстративных компонентов одного или более устройств по фиг. 10; и

на фиг. 14 показана блок-схема иллюстративного процесса автоматического определения износа компонентов машины на основе изображений.

Подробное описание

Настоящее изобретение относится к измерительной платформе, которая автоматически определяет износ компонентов машины на основе изображений. Измерительная платформа имеет универсальную применимость к любой машине с компонентами, которые подвержены износу.

На фиг. 1-11 показаны схематические изображения иллюстративных вариантов осуществления измерительной платформы для измерения износа компонентов машины. Как показано в иллюстративном варианте осуществления 100 по фиг. 1, машина 110, которая содержит ходовое устройство 112, может быть связана с устройствами отображения для фиксации изображений ходового устройства 112 и измерительной платформой для измерения износа ходового устройства 112. В некоторых вариантах осуществления ходовое устройство 112 может быть использовано для ходовой машины 110 в переднем или обратном направлении. В некоторых вариантах осуществления машина 110 может выполнять некоторый тип операции, связанный с такой отраслью промышленности, как строительство, горные работы, лесничество и/или т.п. В некоторых вариантах осуществления машина 110 может включать: погрузчик, бульдозер, экскаватор, трактор, горную машину непрерывного действия, резервуар и/или другие машины с гусеничными тяговыми устройствами.

В некоторых вариантах осуществления ходовое устройство 112 может быть выполнено с возможностью удерживания машины 110 и может зацепляться с землей, дорогами и/или другими типами поверхности. Ходовое устройство 112 может содержать, помимо прочего, раму 114, гусеницу 116, корпус 118 ведущего колеса, направляющее колесо 120, один или более поддерживающих роликов 122 и один или более опорных роликов 124. В некоторых вариантах осуществления ходовое устройство 112 может содержать одну или более направляющих вместо поддерживающих роликов 122 или в дополнение к ним. Корпус 118 ведущего колеса, направляющее колесо 120, поддерживающие ролики 122 и опорные ролики 124 могут быть прикреплены к раме 114 ходового устройства 112. Гусеницу 116 можно обматывать вокруг корпуса 118 ведущего колеса, направляющего колеса 120, поддерживающих роликов 122 и опорных роликов 124 с образованием непрерывной цепи. В некоторых вариантах осуществления гусеница 116 может содержать множество отдельных звеньев 126, соединенных вплотную посредством штифтов 128.

В некоторых вариантах осуществления корпус 118 ведущего колеса и направляющее колесо 120 могут быть размещены на противоположных концах ходового устройства 112. Например, как показано на фиг. 1, направляющее колесо 120 может быть размещено смежно с передним концом рамы 114, и корпус 118 ведущего колеса может быть размещен смежно с задним концом рамы 114. Корпус 118 ведущего колеса может содержать одну или более выступающих частей (или зубцов), которые зацепляются с гусеницей 116 и передают тяговые усилия от корпуса 118 ведущего колеса на гусеницу 116. Корпус 118 ведущего колеса может поворачиваться посредством источника питания машины 110, такого как бензиновый двигатель, дизельный двигатель, электродвигатель, двигатель, работающий на природном газе, двигатель с комбинированным источником питания и/или т.п. В некоторых вариантах осуществления источник питания может доставлять выходную мощность на генератор, который, в свою очередь, может запускать один или более электродвигателей, соединенных с корпусом 118 ведущего колеса. В некоторых вариантах осуществления источник питания может доставлять выходную мощность на гидравлический двигатель, соединенный по текучей среде с гидравлическим насосом и выполненный с возможностью преобразования текучей среды, находящейся под давлением с помощью насоса, в выходной крутящий момент, который может быть направлен на корпус 118 ведущего колеса.

В некоторых вариантах осуществления поддерживающие ролики 122 и опорные ролики 124 могут направлять гусеницу 116 между корпусом 118 ведущего колеса и направляющим колесом 120. Например, поддерживающие ролики 122 могут проходить вверх от рамы 114 и зацепляться с внутренней частью звеньев 126, чтобы направлять гусеницу 116 на верхнюю сторону гусеницы рамы 114. Опорные ролики 124 могут направлять гусеницу 116 на нижнюю сторону гусеницы рамы 114. Опорные ролики 124 могут быть подвешены к раме 114 и могут набегать на звенья 126 и направлять их по мере того, как гусеница 116 перемещается вокруг корпуса 118 ведущего колеса и направляющего колеса 120.

В некоторых вариантах осуществления устройства отображения могут быть выполнены с возможностью фиксации двухмерных (2D) изображений машины 110 и/или ходового устройства 112. В некоторых вариантах осуществления устройства отображения могут включать одно устройство отображения, которое может быть размещено в разных положениях, чтобы обеспечить возможность для устройства отображения получать множество двухмерных изображений машины 110 и/или ходового устройства 112 с разных положений и ориентаций. В некоторых вариантах осуществления устройства отображения могут быть размещены в разных положениях, чтобы обеспечить возможность для устройства отображения получать множество двухмерных изображений машины 110 и/или ходового устройства 112 с разных положений и ориентаций.

Как дополнительно показано на фиг. 1 и под ссылочной позицией 130, измерительная платформа может принимать изображения ходового устройства 112 с устройств отображения. В некоторых вариантах осуществления измерительная платформа может хранить изображения ходового устройства 112 в запоминающем устройстве (например, в базе данных), связанном с измерительной платформой. В некоторых вариантах осуществления каждое изображение может содержать двухмерный вид ходового устройства 112. В некоторых вариантах осуществления изображения могут включать двухмерное видео ходового устройства 112, в том числе виды с разных положений и/или ориентаций камеры. В некоторых вариантах осуществления измерительная платформа может обрабатывать изображения ходового устройства 112 для определения износа, связанного с одним или более компонентами ходового устройства 112, как описано ниже.

Как показано в иллюстративном варианте осуществления 200 по фиг. 2 и под ссылочной позицией 210, измерительная платформа может обрабатывать изображения 130 ходового устройства 112 с помощью трехмерных методов воссоздания для создания трехмерного облака точек изображения. В некоторых вариантах осуществления, когда изображения 130 включают двухмерное видео ходового устройства 112, измерительная платформа может извлекать двухмерные изображения ходового устройства 112 из двухмерного видео.

В некоторых вариантах осуществления двухмерные изображения 130 могут соответствовать разным положениям устройства отображения. В таких вариантах осуществления измерительная платформа может определять положения и ориентации устройства отображения в каждом из положений в системе координат. Положения и ориентации устройства отображения могут представлять собой позиции устройства отображения, и измерительная платформа может определять позиции устройства отображения в каждом из положений на основе сравнения относительных положений элементов сопоставления, которые присутствуют в каждом из двухмерных изображений 130. В некоторых вариантах осуществления измерительная платформа может определять положения элементов в двухмерных изображениях 130, используя методы триангуляции. В некоторых вариантах осуществления измерительная платформа может последовательно детализировать положения элементов в двухмерных изображениях 130 посредством обновления положений по мере обработки каждого двухмерного изображения 130.

В некоторых вариантах осуществления измерительная платформа может выбирать элементы сопоставления в двухмерных изображениях 130. Элементы сопоставления могут включать один или более отличительных элементов изображенного компонента. Например, в двухмерных изображениях 130 ходового устройства 112 элементы сопоставления могут включать штифты 128, соединяющие смежные звенья 126 гусеницы 116, корпус 118 ведущего колеса, направляющее колесо 120, поддерживающие ролики 122, опорные ролики 124 и/или т.п. В некоторых вариантах осуществления измерительная платформа может использовать методы сопоставления элементов для автоматической идентификации и выбора элементов сопоставления в каждом из двухмерных изображений 130. Например, измерительная платформа может выполнять сравнение части или полного объема двухмерных изображений 130 с изображениями элементов, сохраненными в запоминающем устройстве, связанном с измерительной платформой, для идентификации элементов сопоставления в каждом из двухмерных изображений 130. В некоторых вариантах осуществления методы сопоставления элементов могут включать автоматическую идентификацию (ID) и сопоставление ключевых точек по всему изображению. Ключевые точки могут быть неизвестными (например, не предоставляется никакой информации относительно того, какой части или элементу износа соответствуют ключевые точки) и могут быть математически уникальными. Ключевые точки могут быть размещены и сопоставлены во множестве изображений и затем помещены в трехмерном пространстве во время воссоздания трехмерной сцены.

В некоторых вариантах осуществления измерительная платформа может создавать трехмерное облако точек, используя методы триангуляции и оптимизации. Например, измерительная платформа может создавать трехмерное облако точек на основе позиций (например, положений и ориентаций) устройства отображения и относительных положений элементов сопоставления в двухмерных изображениях 130.

В некоторых вариантах осуществления в измерительной платформе могут использоваться сопоставленные ключевые точки во множестве изображений для выполнения многослойной оптимизации. Многослойная оптимизация может определять трехмерные местонахождения сопоставленных ключевых точек, местонахождения (например, x, y и z) центров камеры для каждого снятого изображения, повороты камер (например, r_x, r_y, r_z) камеры в каждом местонахождении камеры и модель камеры (например, фокусные расстояния и коэффициенты дисторсии объектива) и/или т.п. В измерительной платформе может использоваться это общее представление о трехмерной сцене для идентификации элементов износа в изображениях и выполнения триангуляции элементов износа обратно в пространство для измерения. Воссозданные точки из трехмерной реконструкции могут быть немаркированными (например, неизвестна информация относительно того, каким частям соответствуют ключевые точки).

В некоторых вариантах осуществления любое количество двухмерных изображений 130 при любом количестве положений и любом количестве элементов может использоваться для создания трехмерного облака точек с использованием двухмерных изображений 130. В некоторых вариантах осуществления местонахождения в трехмерном облаке точек могут выступать в виде точечных представлений соответствующих элементов. В некоторых вариантах осуществления трехмерное облако точек может не содержать непрерывных краев, но вместо этого может содержать группу местонахождений, представляющую отдельные референсные точки в двухмерных изображениях 130. В результате трехмерное облако точек может представлять собой изображение, которое содержит облако точек, представляющее местонахождения отдельных референсных точек в двухмерных изображениях 130.

Как дополнительно показано на фиг. 2 и под ссылочной позицией 220, измерительная платформа может обрабатывать облако точек изображения с использованием фильтра для создания отфильтрованного облака точек изображения. В некоторых вариантах осуществления фильтр может фильтровать облако точек изображения для удаления точек, которые не являются частью ходового устройства. Поскольку неизвестно, какие точки соответствуют каким элементам в сцене, измерительная платформа может фильтровать облако точек изображения, используя тот факт, что изображения ходового устройства в среднем могут содержать больше воссозданных трехмерных точек ходового устройства, чем других. В некоторых вариантах осуществления в измерительной платформе может использоваться смешанный фильтр на основе Гаусса, который сглаживает точки до количества (например, n) отдельных статистических распределений. Измерительная платформа может сохранять точки, связанные с компактным распределением, учитывая, что в среднем эти точки могут соответствовать точкам ходового устройства, поскольку эти точки были получены на основе изображений ходового устройства.

Как показано в иллюстративном варианте осуществления 300 по фиг. 3 и под ссылочной позицией 310, измерительная платформа может принимать трехмерную модель ходового устройства 112. В некоторых вариантах осуществления трехмерная модель ходового устройства 112 может содержать трехмерную модель системы автоматизированного проектирования (CAD) ходового устройства 112, которая может использоваться для изготовления ходового устройства 112.

Как дополнительно показано на фиг. 3 и под ссылочными позициями 320 и 330, измерительная платформа может выполнять выборку точек из трехмерной модели и может создавать трехмерное облако точек модели на основе выполнения выборки точек из трехмерной модели. В некоторых вариантах осуществления измерительная платформа может обеспечивать трехмерную модель в трехмерной сцене и может обеспечивать искусственные камеры в трехмерной сцене. Искусственная камера может предусматривать метод рендеринга, который ориентирован на воссоздание характеристик (например, искажений, таких как нахождение вне фокуса, погрешность и/или т.п.) настоящей камеры или человеческого глаза, а не на идеальные четкие ахроматические снимки, созданные с помощью компьютерной графики. В некоторых вариантах осуществления матрица изображения искусственной камеры может проецировать лучи в трехмерную модель для создания точки в пространстве без использования метода рендеринга. Измерительная платформа может находить модель камеры и может не искажать изображения перед выполнением процесса идентификации (ID) и сопоставления ключевых точек. В некоторых вариантах осуществления искусственные камеры могут быть расположены в положениях относительно трехмерной модели, подобных устройствам отображения относительно ходового устройства 112. Измерительная платформа может проецировать лучи из матриц камеры каждой искусственной камеры в трехмерную модель и может создавать облако точек модели, которое представляет собой комбинацию из трехмерных точек, полученных на основе каждого местонахождения искусственной камеры.

Как показано в иллюстративном варианте осуществления 400 по фиг. 4 и под ссылочной позицией 410, измерительная платформа может обрабатывать облако точек модели для грубого соотнесения и масштабирования облака точек модели и отфильтрованного облака точек изображения. В некоторых вариантах осуществления грубое соотнесение и масштабирование облака точек модели и отфильтрованного облака точек может быть неидеальным, поскольку ходовое устройство 112 может содержать изношенные компоненты, которые приводят к тому, что гусеница 116 провисает и не соотносится с гусеницей, обеспеченной в облаке точек модели. Например, грубое соотнесение и масштабирование облака точек модели и отфильтрованного облака точек может обеспечить конкретное значение масштабного коэффициента (например, 3,255) с конкретной ошибкой в масштабе (например, 12%), исходя из известного или контрольного значения масштабного коэффициента (например, 3,685).

В некоторых вариантах осуществления в измерительной платформе может использоваться анализ главных компонентов для грубого соотнесения и масштабирования облака точек модели и отфильтрованного облака точек изображения. Анализ главных компонентов может включать статистический анализ, в котором используется ортогональное преобразование для преобразования набора наблюдений возможно коррелированных переменных в набор значений линейно некоррелированных переменных, называемых главными компонентами. Например, если присутствует n результатов наблюдения с p переменных, то количество отдельных главных компонентов составляет min (n-1, p). Это преобразование определяется таким образом, что первый главный компонент имеет наибольшее возможное отклонение (другими словами, обеспечивает максимальную вариативность данных), и каждый последующий компонент имеет, в свою очередь, наибольшее возможное отклонение с тем ограничением, что она является самостоятельной относительно предыдущих компонентов. Итоговые векторы обеспечивают некоррелированный самостоятельный базисный набор.

Как показано в иллюстративном варианте осуществления 500 по фиг. 5 и под ссылочной позицией 510, измерительная платформа может обрабатывать грубо соотнесенное и масштабированное облако точек модели и отфильтрованное облако точек изображения (например, грубо соотнесенное и масштабированное облака точек изображения) для точно настроенного соотнесения и масштабирования грубо соотнесенных и масштабированных облаков точек. В некоторых вариантах осуществления точно настроенное соотнесение и масштабирование грубо соотнесенных и масштабированных облаков точек могут выполняться на основе компонентов ходового устройства 112, которые не изнашиваются или не истираются спустя длительный период времени (например, рама 114, корпус 118 ведущего колеса и/или т.п.). Таким образом, точное настроенное соотнесение и масштабирование грубо соотнесенных и масштабированных облаков точек может обеспечивать более совершенное соотнесение, чем грубое соотнесение и масштабирование облака точек модели и отфильтрованного облака точек изображения. Например, точно настроенное соотнесение и масштабирование грубо соотнесенных и масштабированных облаков точек могут обеспечивать конкретную ошибку в масштабе (например, 0,01%), которая намного меньше, чем конкретная ошибка в масштабе (например, 12%), связанная с грубым соотнесением и масштабированием облака точек модели и отфильтрованного облака точек. Точно настроенное соотнесение и масштабирование грубо соотнесенных и масштабированных облаков точек также может обеспечивать конкретное значение масштабного коэффициента (например, 3,683), которое является более точным, чем конкретное значение масштабного коэффициента (например, 3,255), связанное с грубым соотнесением и масштабированием облака точек модели и отфильтрованного облака точек, по сравнению с известным значением масштабного коэффициента (например, 3,685).

В некоторых вариантах осуществления в измерительной платформе может использоваться метод, основанный на итеративном алгоритме ближайших точек, для точно настроенного соотнесения и масштабирования грубо соотнесенных и масштабированных облаков точек. С использованием метода, основанного на итеративном алгоритме ближайших точек, может сводиться к минимуму разница между двумя облаками точек. В методе, основанном на итеративном алгоритме ближайших точек, одно облако точек (т.е. вершинное облако или эталонное облако) сохраняется неподвижным, в то время как другое облако точек преобразуется так, чтобы наилучшим образом соответствовать эталону. В методе, основанном на итеративном алгоритме ближайших точек, итерационно проверяется преобразование (например, посредством комбинации перемещения и поворота), необходимое для того, чтобы свести к минимуму ошибочной метрики, которая может представлять собой расстояние от источника к эталонному облаку, например, сумму квадрата разностей между координатами сопоставленных пар. Метод, основанный на итеративном алгоритме ближайших точек, может использоваться для воссоздания двухмерных или трехмерных поверхностей на основе разных анализов изображений, может использоваться для соотнесения трехмерных моделей, предоставляющих начальное приближение преобразования жесткого тела, и/или т.п.

Как показано в иллюстративном варианте осуществления 600 по фиг. 6 и под ссылочной позицией 610, измерительная платформа может обрабатывать точно настроенное соотнесенное и масштабированное облако точек модели и отфильтрованное облако точек изображения (например, точно соотнесенные и масштабированные облака точек) для создания трехмерных участков маски на точно настроенных соотнесенных и масштабированных облаках точек. В некоторых вариантах осуществления трехмерные участки маски могут сужать область поиска в оригинальных двухмерных изображениях 130 до штифтов 128, которые соединяют звенья 126 гусеницы 116 ходового устройства 112, как описано ниже. В некоторых вариантах осуществления окончательное точно настроенное соотнесение может обеспечивать оценки элементов износа (например, штифтов) в трехмерном пространстве исключительно на основе местонахождений трехмерной модели после подгонки (например, первое местонахождение, как показано на фиг. 6). Измерительная платформа может создавать трехмерный участок маски на основе этого первого местонахождения, поскольку размер и местонахождение в пространстве можно вычислить для обеспечения примерной статистической достоверности того, что один и только один реальный штифт или другой элемент износа находится на участке. Измерительная платформа может повторно проецировать участок на изображения, может размещать реальные штифты/элементы износа и может вычислять реальное местонахождение штифта (например, второе местонахождение, как показано на фиг. 6). Измерительная платформа может определять трехмерные участки маски для оставшихся штифтов 128 подобным образом.

Как показано в иллюстративном варианте осуществления 700 по фиг. 7 и под ссылочной позицией 710, измерительная платформа может проецировать трехмерные участки маски на одном или более оригинальных двухмерных изображениях 130 ходового устройства 112. В некоторых вариантах осуществления в измерительной платформе могут использоваться точно настроенные соотнесенные и масштабированные облака точек с трехмерными участками маски для проецирования трехмерных участков маски на одном или более оригинальных двухмерных изображениях 130 ходового устройства 112.

Как показано в иллюстративном варианте осуществления 800 по фиг. 8 и под ссылочной позицией 810, измерительная платформа может обрабатывать каждый из трехмерных участков маски, спроецированных на оригинальном изображении, для идентификации референсной точки (например, центра штифта 128), связанной с каждым трехмерным участком маски. В некоторых вариантах осуществления измерительная платформа может обрабатывать каждый трехмерный участок маски с помощью способа выделения краев для идентификации краев на каждом трехмерном участке маски. В некоторых вариантах осуществления способ выделения краев может включать способ выделения краев Кэнни, способ выделения краев маскировочной сверточной нейронной сети (R-CNN) по участку, ускоренный способ выделения краев R-CNN, более ускоренный способ выделения краев R-CNN, способ выделения краев целиком сверточных сетей на основе участков (R-FCN) и/или т.п. В некоторых вариантах осуществления измерительная платформа может обратно проецировать трехмерные маски на изображения для определения нужных двухмерных участков и может обрабатывать двухмерные участки для размещения референсных точек с помощью способа выделения краев Кэнни, способа преобразования Хафа (например, описанного ниже), способа выделения краев R-CNN и/или т.п. В некоторых вариантах осуществления измерительная платформа может обеспечивать локализацию референсной точки на основе стандартных методов обработки изображений, машинных изученных датчиков обнаружения и/или т.п. В некоторых вариантах осуществления в измерительной платформе может использоваться способ выделения краев Кэнни для определения краев и может использоваться способ преобразования Хафа для определения наилучшей подходящей точки, которая представляет собой центр круга.

В способе выделения краев Кэнни может извлекаться полезная структурная информация из разных видимых объектов и существенно уменьшаться количество данных, подлежащих обработке, в изображении. В способе выделения краев Кэнни может применяться фильтр Гаусса для сглаживания изображения для удаления шума, могут определяться градиенты интенсивности изображения, может применяться немаксимальное подавление для удаления ложного отклика на выделение края, может применяться метод двойного порогового значения для определения потенциальных краев и может применяться отслеживание краев посредством гистерезиса для подавления слабых краев, которые не соединены с сильными краями.

Ускоренный способ выделения краев R-CNN может предусматривать модель глубокого обучения для выделения объектов на основе способа R-CNN, который улучшает скорость выделения способа R-CNN. В способе R-CNN анализируется входное изображение относительно возможных объектов, используя способ избирательного поиска, создаются предложения по участкам, применяется CNN к каждому из предложений по участкам и обеспечивается выдача каждой CNN на машину опорных векторов (SVM) и на линейный регрессор для классификации каждого участка на основе извлеченных элементов. Ускоренный способ R-CNN улучшает скорость выделения способа R-CNN посредством выполнения извлечения элемента по всему оригинальному изображению перед предлагаемыми участками, применяя таким образом одну CNN к целому изображению вместо некоторого количества CNN в отношении соответствующего количества перекрывающихся участков. В способе R-CNN применяются выходные данные одной CNN к одному слою многопеременной логистической функции, который выводит вероятности классов, тем самым расширяя нейронную сеть для прогнозов вместо создания новой модели.

Более ускоренный способ выделения краев R-CNN может включать модель глубокого обучения для выделения объектов, которая улучшает ускоренный способ R-CNN посредством использования сетей предложения по участку (RPN) вместо способа избирательного поиска для создания предложений по участку. В более ускоренной модели R-CNN на последнем слое начальной CNN скользящее окно перемещается по карте элементов и отображает карту элементов в более малой размерности. Для каждого местонахождения «скользящего окна» RPN создает множество возможных участков на основе привязанных блоков k с постоянным отношением (стандартных ограничивающих блоков). Каждое предложение по участку включает показатель объективности по участку (представляя вероятность того, что участок содержит объект) и координирует представление ограничивающего блока участка. Если показатель объективности удовлетворяет пороговому значению, координаты проходят далее в качестве предложения по участку.

Способ выделения краев маски R-CNN может включать способ выделения краев, который увеличивает более ускоренный способ R-CNN, добавляя процесс для прогнозирования маски объекта параллельно с существующим процессом для распознавания ограничивающего блока. Добавленный процесс выводит бинарную маску, которая указывает, является ли данный пиксель частью объекта или не является частью объекта.

Способ выделения краев R-FCN может включать модель глубокого обучения для выделения объектов, в которой применяются позиционно-чувствительные карты показателей к целиком сверточной сети. Каждая позиционно-чувствительная карта показателей представляет одно относительное положение одного класса объектов (например, верхнюю правую часть объекта определенного типа). В способе R-FCN применяется CNN к входному изображению, добавляется целиком сверточный слой для создания ряда показателей позиционно-чувствительных карт показателей, и применяется RPN для создания нужных участков. В способе R-FCN происходит деление каждого нужного участка на подучастки, применяется ряд показателей для определения того, соответствует ли каждый подучасток соответствующей части объекта, и классифицируется нужный участок на основе, например, того, удовлетворяют ли совпадения пороговому значению.

В некоторых вариантах осуществления в измерительной платформе может использоваться один или более способов выделения краев и могут использоваться наилучшие результаты, определенные одним из способов выделения краев. В некоторых вариантах осуществления в измерительной платформе может использоваться несколько способов выделения краев и могут объединяться результаты, определенные несколькими способами выделения краев.

В некоторых вариантах осуществления измерительная платформа может обрабатывать края (например, определенные способом выделения краев) с помощью способа извлечения элемента для определения референсной точки (например, центра штифта 128), связанной с каждым трехмерным участком маски. В некоторых вариантах осуществления способ извлечения элемента может включать способ задания порогового значения, способ маркировки связной компоненты, способ сопоставления с шаблоном, способ преобразования Хафа и/или т.п.

Способ задания порогового значения может включать способ сегментации изображения, в котором используется нелинейная операция для преобразования полутонового изображения в двоичное изображение, где два разных уровня назначаются пикселям, связанным со значением, которое ниже или выше конкретного порогового значения. Например, в способе задания порогового значения может заменяться каждый пиксель в изображении черным пикселем, если интенсивность изображения меньше порогового значения, или белым пикселем, если интенсивность изображения больше порогового значения.

Способ сопоставления с шаблоном может включать способ поиска небольших частей изображения, которые совпадают с изображением шаблона. В способе сопоставления с шаблоном используется способ распознавания объекта, в котором создается небольшой шаблон объекта, который необходимо найти в изображении, и выполняется попиксельное сопоставление шаблона с изображением, помещая шаблон в каждое возможное положение основного изображения. В способе сопоставления с шаблоном применяется метрика сходства (например, нормализованная взаимная корреляция) для идентификации наиболее точного совпадения.

Способ преобразования Хафа может включать способ извлечения элемента, в котором выделяются элементы определенной формы в изображении. Способ преобразования Хафа идентифицирует несовершенные экземпляры объектов в определенном классе форм с помощью процедуры голосования. Процедура голосования выполняется в пространстве параметров, из которого подходящие претенденты объекта получают в качестве локального максимума в накопительном пространстве, которое явным образом построено с помощью способа вычисления преобразования Хафа.

В некоторых вариантах осуществления в измерительной платформе могут использоваться один или более способов извлечения элемента и могут использоваться наилучшие результаты, определенные одним из способов извлечения элемента. В некоторых вариантах осуществления в измерительной платформе могут использоваться несколько способов извлечения элемента и могут объединяться результаты, определенные несколькими способами извлечения элемента.

Как показано в иллюстративном варианте осуществления 900 по фиг. 9 и под ссылочной позицией 910, в измерительной платформе может использоваться точка изображения и идентифицированные референсные точки (например, центры штифтов) для проецирования центров штифтов в облако точек изображения. В некоторых вариантах осуществления измерительная платформа может проецировать линии (например, лучи) из каждого из положений (например, положений устройства отображения, используемого для фиксации изображений 130 ходового устройства 112) через референсные точки (например, центры штифтов) в каждом из связанных двухмерных изображений 130. Таким образом, например, измерительная платформа может проецировать первый луч из первого положения через референсную точку в двухмерном изображении. Измерительная платформа может подобным образом проецировать второй луч из второго положения через референсную точку в двухмерном изображении 130. Измерительная платформа может повторять этот процесс для других двухмерных изображений 130.

В некоторых вариантах осуществления измерительная платформа может определять местоположение референсной точки в облаке точек изображения на основе пересечения лучей и подобных лучей из других положений, соответствующих другим двухмерным изображениям 130. Из-за потенциальных различий в условиях получения изображения для двухмерных изображений 130 и внутренних ошибок, связанных с изображаемыми объектами, лучи из положений, проходящих через референсную точку, могут не сходиться в одном месте в трехмерном облаке точек изображения. В таких случаях платформа измерения может определять местонахождение референсной точки в облаке точек изображения в качестве положения, в котором величина расстояний между лучами, проходящими через референсную точку, меньше, чем пороговое расстояние. В некоторых вариантах осуществления измерительная платформа может повторять эти этапы для каждой из референсных точек (например, центров штифтов), чтобы определить местонахождения каждой из референсных точек в облаке точек изображения.

Как показано в иллюстративном варианте осуществления 1000 на фиг. 10 и под ссылочной позицией 1010, измерительная платформа может определять износ, связанный с компонентом машины 110 (например, гусеницей 116, звеньями 126, штифтами 128 и/или т.п. ходового устройства 112) на основе фактических расстояний между центрами штифтов и ожидаемых расстояний между центрами штифтов. В некоторых вариантах осуществления измерительная платформа может определять фактические расстояния между центрами штифтов на основе расстояний между определенными местонахождениями центров штифтов, как описано выше. Измерительная платформа может определять расстояние на изображении между местонахождениями центров штифтов (например, расстояние между местонахождениями в облаке точек изображения). В некоторых вариантах осуществления расстояние на изображении может отличаться от фактического расстояния между референсными точками на фактическом ходовом устройстве 112 машины 110. В таких вариантах осуществления измерительная платформа может определять коэффициент масштабирования (например, конкретное значение масштабного коэффициента 3,683, описанное выше в отношении фиг. 5) для преобразования изображения или немасштабированного расстояния в фактическое расстояние, которое будет наблюдаться на ходовом устройстве 112.

В некоторых вариантах осуществления измерительная платформа может определять ожидаемые расстояния между центрами штифтов на основе расстояний между центрами штифтов, предусмотренных в трехмерной модели ходового устройства 112. В некоторых вариантах осуществления измерительная платформа может определять износ, связанный с компонентом машины 110, посредством сравнения фактических расстояний между центрами штифтов и ожидаемых расстояний между центрами штифтов. В некоторых вариантах осуществления измерительная платформа может определять степень износа штифта как разницу между ожидаемыми расстояниями между центрами штифтов и фактическими расстояниями между центрами штифтов. Измерительная платформа может подобным образом определять степень износа, связанную с другими компонентами машины 110. В некоторых вариантах осуществления вместо использования разницы между двумя значениями для определения степени износа, в измерительной платформе могут использоваться соотношения, абсолютные значения и/или другие математические функции или операции с фактическими расстояниями и соответствующими ожидаемыми значениями для определения степеней износа на компонентах машины 110.

Как показано в иллюстративном варианте осуществления 1100 на фиг. 11 и под ссылочной позицией 1110, измерительная платформа может выполнять действие на основе степени износа, связанной с компонентом машины 110. В некоторых вариантах осуществления действие может включать обеспечение измерительной платформы для отображения (например, оператору измерительной платформы, устройству, связанному с пользователем машины 110, и/или т.п.) информации, указывающей на степень износа, связанную с компонентом машины 110. Например, как дополнительно показано на фиг. 11, измерительная платформа может обеспечивать отображение пользовательского интерфейса, указывающего, что гусеница 116 ходового устройства 112 имеет значительный износ и оставшийся срок службы 30%.

В некоторых вариантах осуществления действие может включать автоматическое расположение измерительной платформой запасного компонента для компонента на основе степени износа, связанной с компонентом. Например, измерительная платформа может автоматически повторно располагать запасную гусеницу 116 для машины 110. В некоторых вариантах осуществления действие может включать предоставление измерительной платформой, для отображения (например, пользователю машины 110), предложения, связанного с запасным компонентом для компонента. Например, как дополнительно показано на фиг. 11, измерительная платформа может обеспечивать отображение пользовательского интерфейса, указывающего на предложение для замены гусеницы 116 (например, «Закажите запасную гусеницу сейчас и сэкономьте 25% от первоначальной цены»).

В некоторых вариантах осуществления действие может включать предоставление измерительной платформой, для отображения (например, пользователю машины 110), изображения компонента с наложением компонента модели, предоставленного трехмерной моделью. Например, как дополнительно показано на фиг. 11, измерительная платформа может обеспечивать отображение пользовательского интерфейса, который включает изображение реальной гусеницы 116 машины 110 с наложением новой гусеницы 116, чтобы показать степень износа фактической гусеницы 116. В некоторых вариантах осуществления действие может включать предоставление измерительной платформой пользователю машины 110 предупреждения, указывающего на степень износа гусеницы 116 и, возможно, указывающего на риски, связанные с использованием изношенной гусеницы 116.

В некоторых вариантах осуществления действие может включать автоматическое предоставление измерительной платформой машине 110 команды, которая обеспечивает автономный подъезд машины 110 к ремонтной мастерской.

В некоторых вариантах осуществления действие может включать обеспечение измерительной платформой автоматической доставки компонента машины 110 к местонахождению машины 110. Например, измерительная платформа может давать роботу команду загрузить компонент на автономное транспортное средство, которое может доставить компонент к местонахождению машины 110. Альтернативно измерительная платформа может давать роботу команду доставить компонент к местонахождению машины 110.

В некоторых вариантах осуществления измерительная платформа может спрогнозировать, когда компонент машины 110 повредится на основе степени износа, связанной с компонентом машины 110. В таких вариантах осуществления измерительная платформа может определять конкретное время для замены компонента на основе ожидаемого повреждения компонента. Если измерительная платформа прогнозирует, что повреждение компонента существует в течение недолгого периода времени, измерительная платформа может не выполнять действие. Если измерительная платформа прогнозирует, что повреждение компонента является неизбежным, измерительная платформа может выполнять одно или более действий, описанных выше.

В некоторых вариантах осуществления измерительная платформа может оценивать масштаб облака точек изображения и может автоматически размещать элементы износа для измерения. При масштабировании и подгонке двух облаков точек измерительная платформа может фиксировать облако точек изображения, а затем может масштабировать, поворачивать и перемещать облако точек, основанное на модели, для получения наилучшей подгонки. Окончательная величина масштабирования, примененная к облаку точек, основанному на модели, для получения наилучшей подгонки обеспечивает окончательную оценку масштаба сцены, и, подобным образом, окончательное положение элементов, основанных на модели, относительно облака точек изображения обеспечивает первые оценки местонахождений элементов износа, которые можно использовать для создания маскированных участков для дальнейшей детализации и обнаружения высокоточных местонахождений элементов.

Как указано выше, фиг. 1-11 предусмотрены исключительно в качестве примеров. Возможны другие примеры, которые могут отличаться от описанных в отношении фиг. 1-11.

На фиг. 12 показано схематическое изображение иллюстративной среды 1200, в которой могут быть реализованы системы и/или способы, описанные в данном документе. Как показано на фиг. 12, среда 1200 может содержать устройство 1210 отображения, измерительную платформу 1220 и сеть 1230. Устройства среды 1200 могут соединяться между собой посредством проводных соединений, беспроводных соединений или комбинации проводных и беспроводных соединений.

Устройство 1210 отображения содержит одно или более устройств, выполненных с возможностью приема, создания, сохранения, обработки и/или предоставления информации, такой как информация, описанная в данном документе. Например, устройство 1210 отображения может включать цифровую камеру, мобильный телефон (например, смартфон, радиотелефон и т.д.), портативный компьютер, планшетный компьютер, карманный компьютер, носимое устройство связи (например, умные наручные часы, пару умных очков и т.д.) или устройство подобного типа. В некоторых вариантах осуществления устройство 1210 отображения может принимать информацию от измерительной платформы 1220 и/или передавать информацию на нее.

В некоторых вариантах осуществления устройство 1210 отображения может быть прикреплено к подвижной раме, которая может позволять устройству 1210 отображения перемещаться горизонтально и/или вертикально вокруг машины 110 в различные положения. Подвижная рама может позволять поворачивать устройство 1210 отображения, так что устройство 1210 отображения может быть расположено на разных расстояниях и ориентациях относительно машины 110. В некоторых вариантах осуществления устройство 1210 отображения может управляться оператором, способным перемещаться в разные положения относительно машины 110. Оператор может получать множество двухмерных изображений машины 110 и/или ходового устройства 112 с разных расстояний и с разных ориентаций.

Измерительная платформа 1220 содержит одно или более устройств, которые автоматически определяют износ компонентов машины (например, машины 110) на основе изображений, принятых с устройства 1210 отображения. В некоторых вариантах осуществления измерительная платформа 1220 может быть разработана модульной, так что определенные компоненты программного обеспечения могут быть загружены или выгружены в зависимости от конкретной потребности. Таким образом, измерительная платформа 1220 может быть легко и/или быстро перенастроена для различных использований. В некоторых вариантах осуществления измерительная платформа 1220 может принимать информацию с одного или более устройств 1210 отображения и/или передавать информацию на него/них.

В некоторых вариантах осуществления, как показано, измерительная платформа 1220 может быть размещена в среде 1222 облачных вычислений. Примечательно, что, хотя варианты осуществления, описанные в данном документе, описывают измерительную платформу 1220 как размещенную в среде 1222 облачных вычислений, в некоторых вариантах осуществления измерительная платформа 1220 может не быть облачной (т.е. может быть реализована вне среды облачных вычислений) или может быть частично облачной.

Среда 1222 облачных вычислений включает среду, в которой размещается измерительная платформа 1220. Среда 1222 облачных вычислений может обеспечивать службы вычисления, программного обеспечения, доступа к данным, хранения и т.д., которые не требуют знания конечным пользователем физического местонахождения и конфигурации системы (систем) и/или устройства (устройств), на которых размещается измерительная платформа 1220. Как показано, среда 1222 облачных вычислений может содержать группу вычислительных ресурсов 1224 (совместно именуемых «вычислительными ресурсами 1224» и индивидуально «вычислительным ресурсом 1224»).

Вычислительный ресурс 1224 включает один или более персональных компьютеров, компьютеров рабочих станций, серверных устройств или других типов вычислительных устройств и/или устройств связи. В некоторых вариантах осуществления вычислительный ресурс 1224 может размещать измерительную платформу 1220. Облачные ресурсы могут включать вычислительные экземпляры, исполняющие в вычислительном ресурсе 1224, устройства хранения данных, предоставленные в вычислительном ресурсе 1224, устройства передачи данных, предоставленные вычислительным ресурсом 1224, и т.д. В некоторых вариантах осуществления вычислительный ресурс 1224 может взаимодействовать с другими вычислительными ресурсами 1224 посредством проводных соединений, беспроводных соединений или комбинации проводных и беспроводных соединений.

Как дополнительно показано на фиг. 12, вычислительный ресурс 1224 включает группу облачных ресурсов, такую как одно или более приложений («APP») 1224-1, одна или более виртуальных машин («VM») 1224-2, виртуализированное хранилище («VS») 1224-3, один или более гипервизоров («HYP») 1224-4 и/или т.п.

Приложение 1224-1 включает одно или более программных приложений, которые могут быть предоставлены устройству 1210 отображения или могут быть доступными для него. Приложение 1224-1 может устранить необходимость в установке и исполнении программных приложений на устройстве 1210 отображения. Например, приложение 1224-1 может содержать программное обеспечение, связанное с измерительной платформой 1220, и/или любое другое программное обеспечение, которое может быть предоставлено через среду 1222 облачных вычислений. В некоторых вариантах осуществления одно приложение 1224-1 может отправлять информацию на одно или более других приложений 1224-1/принимать информацию с одного или более других приложений через виртуальную машину 1224-2.

Виртуальная машина 1224-2 включает реализацию программного обеспечения машины (например, компьютер), которая исполняет программы как физическая машина. Виртуальная машина 1224-2 может представлять собой либо системную виртуальную машину, либо обрабатывающую виртуальную машину в зависимости от использования и степени соответствия любой реальной машине с помощью виртуальной машины 1224-2. Системная виртуальная машина может обеспечивать полную платформу системы, которая поддерживает исполнение полной операционной системы («ОС»). Обрабатывающая виртуальная машина может исполнять одну программу и может поддерживать один процесс. В некоторых вариантах осуществления виртуальная машина 1224-2 может исполнять от имени пользователя (например, пользователя устройства 1210 отображения или оператора измерительной платформы 1220) и может управлять инфраструктурой среды 1222 облачных вычислений, такой как управление данными, синхронизация или длительные передачи данных.

Виртуализированное хранилище 1224-3 содержит одну или более систем хранения и/или одно или более устройств, в которых используются методы виртуализации в системах хранения или устройствах вычислительного ресурса 1224. В некоторых вариантах осуществления в контексте системы хранения типы виртуализации могут включать блочную виртуализацию и файловую виртуализацию. Блочная виртуализация может относиться к абстракции (или разделению) логического хранилища от физического хранилища так, чтобы система хранения была доступной независимо от физического хранилища или гетерогенной структуры. Разделение может обеспечить для администраторов системы хранения гибкость в том, как администраторы управляют хранилищем для конечных пользователей. Файловая виртуализация может устранить зависимости между данными, доступ к которым осуществляется на уровне файла, и местом, где физически хранятся файлы. Это может обеспечить возможность оптимизации использования хранилища, консолидации серверов и/или производительности неразрывных переносов файлов.

Гипервизор 1224-4 может обеспечивать методы аппаратной виртуализации, которые позволяют множеству операционных систем (например, «гостевым операционным системам») исполнять программы одновременно на главном компьютере, например, вычислительном ресурсе 1224. Гипервизор 1224-4 может представлять виртуальную операционную платформу для гостевых операционных систем и может управлять исполнением гостевых операционных систем. Множество экземпляров различных операционных систем могут совместно использовать виртуализированные аппаратные ресурсы.

Сеть 1230 включает одну или более проводных и/или беспроводных сетей. Например, сеть 1230 может включать сотовую сеть (например, сеть пятого поколения (5G), сеть долгосрочного развития (LTE), сеть третьего поколения (3G), сеть множественного доступа с кодовым разделением каналов (CDMA) и т.д.), наземную сеть мобильной связи общего пользования (PLMN), локальную сеть передачи данных (LAN), глобальную сеть передачи данных (WAN), городскую сеть передачи данных (MAN), телефонную сеть (например, коммутируемую телефонную сеть общего пользования (PSTN)), частную сеть, сеть без точек доступа, интрасеть, Интернет, волоконно-оптическую сеть и/или т.п., и/или комбинацию этих или других типов сетей.

Количество и расположение устройств и сетей, показанных на фиг. 12, приведены в качестве примера. На практике могут быть дополнительные устройства и/или сети, меньшее количество устройств и/или сетей, разные устройства и/или сети или устройства и/или сети, расположенные иначе, чем те, что показаны на фиг. 12. Кроме того, два или более устройств, показанных на фиг. 12, могут быть реализованы в одном устройстве, или одно устройство, показанное на фиг. 12, может быть реализовано как множество распределительных устройств. Дополнительно или альтернативно набор устройств (например, одно или более устройств) среды 1200 может выполнять одну или более функций, описанных как выполняемые другим набором устройств среды 1200.

На фиг. 13 показано схематическое изображение иллюстративных компонентов устройства 1300. Устройство 1300 может соответствовать устройству 1210 отображения, измерительной платформе 1220 и/или вычислительному ресурсу 1224. В некоторых вариантах осуществления устройство 1210 отображения, измерительная платформа 1220 и/или вычислительный ресурс 1224 могут включать одно или более устройств 1300 и/или один или более компонентов устройства 1300. Как показано на фиг. 13, устройство 1300 может содержать шину 1310, процессор 1320, запоминающее устройство 1330, компонент 1340 хранения, входной компонент 1350, выходной компонент 1360 и интерфейс 1370 связи.

Шина 1310 содержит компонент, который обеспечивает связь между компонентами устройства 1300. Процессор 1320 реализован в виде аппаратного обеспечения, встроенного программного обеспечения или комбинации аппаратного обеспечения и программного обеспечения. Процессор 1320 представляет собой центральный процессорный блок (CPU), графический процессорный блок (GPU), ускоренный процессорный блок (APU), микропроцессор, микроконтроллер, процессор цифровой обработки аудиосигнала (DSP), программируемую пользователем вентильную матрицу (FPGA), специализированную интегральную схему (ASIC) или другой тип обрабатывающего компонента. В некоторых вариантах осуществления процессор 1320 включает один или более процессоров, которые могут быть запрограммированы для выполнения функции. Запоминающее устройство 1330 содержит оперативную память (RAM), постоянную память (ROM) и/или другой тип динамического или статического устройства хранения (например, флеш-память, магнитную память и/или оптическую память), в котором хранится информация и/или команды для использования процессором 1320.

Компонент 1340 хранения хранит информацию и/или программное обеспечение, относящиеся к работе и использованию устройства 1300. Например, компонент 1340 хранения может включать жесткий диск (например, магнитный диск, оптический диск, магнитооптический диск и/или твердотельный диск), компакт-диск (CD), универсальный цифровой диск (DVD), дискету, картридж, магнитную ленту и/или другой тип энергонезависимого машиночитаемого носителя вместе с соответствующим накопителем.

Входной компонент 1350 включает компонент, который позволяет устройству 1300 принимать информацию, например, посредством пользовательского средства ввода (например, дисплея с сенсорным экраном, клавиатуры, клавишной панели, мыши, кнопки, переключателя и/или микрофона). Дополнительно или альтернативно входной компонент 1350 может содержать датчик для считывания информации (например, компонент глобальной системы позиционирования (GPS), акселерометр, гироскоп и/или исполнительный механизм). Выходной компонент 1360 включает компонент, который предоставляет выходную информацию с устройства 1300 (например, дисплея, динамика и/или одного или более светодиодов (LED)).

Интерфейс 1370 связи содержит компонент, подобный приемопередатчику (например, приемопередатчик и/или отдельный приемник и передатчик), который обеспечивает возможность для устройства 1300 взаимодействовать с другими устройствами, например, посредством проводного соединения, беспроводного соединения или комбинации проводного и беспроводного соединений. Интерфейс 1370 связи может разрешать устройству 1300 принимать информацию с другого устройства и/или предоставлять информацию другому устройству. Например, интерфейс 1370 связи может включать интерфейс Ethernet, оптический интерфейс, коаксиальный интерфейс, инфракрасный интерфейс, радиочастотный (RF) интерфейс, интерфейс универсальной последовательной шины (USB), интерфейс Wi-Fi, интерфейс сотовой сети и/или т.п.

Устройство 1300 может выполнять один или более процессов, описанных в данном документе. Устройство 1300 может выполнять эти процессы на основе процессора 1320, исполняющего команды программного обеспечения, хранящиеся на энергонезависимом машиночитаемом носителе, таком как запоминающее устройство 1330 и/или компонент 1340 хранения. Машиночитаемый носитель определяется в данном документе как энергонезависимое запоминающее устройство. Запоминающее устройство содержит пространство памяти в пределах одного физического устройства хранения или пространство памяти, распределенное между множеством физических устройств хранения.

Команды программного обеспечения могут быть считаны в запоминающее устройство 1330 и/или компонент 1340 хранения с другого машиночитаемого носителя или с другого устройства посредством интерфейса 1370 связи. При исполнении команды программного обеспечения, хранящиеся в запоминающем устройстве 1330 и/или компоненте 1340 хранения, могут обеспечивать выполнение процессором 1320 одного или более процессов, описанных в данном документе. Дополнительно или альтернативно фиксированная схема может использоваться вместо или в комбинации с командами программного обеспечения для выполнения одного или более процессов, описанных в данном документе. Таким образом, описанные в данном документе варианты осуществления не ограничиваются какой-либо конкретной комбинацией схемы аппаратного обеспечения и программного обеспечения.

Количество и расположение компонентов, показанных на фиг. 13, приведены в качестве примера. На практике устройство 1300 может содержать дополнительные компоненты, меньшее количество компонентов, разные компоненты или компоненты, расположенные иначе, чем те, которые показаны на фиг. 3. Дополнительно или альтернативно набор компонентов (например, один или более компонентов) устройства 1300 может выполнять одну или более функций, описанных как выполняемые другим набором компонентов устройства 1300.

На фиг. 14 показана блок-схема иллюстративного процесса 1400 для автоматического определения износа компонентов машины на основе изображений. В некоторых вариантах осуществления один или более блоков процесса по фиг. 14 могут выполняться с помощью измерительной платформы (например, измерительной платформы 1220). В некоторых вариантах осуществления один или более блоков процесса по фиг. 14 могут выполняться другим устройством или группой устройств, отдельной от измерительной платформы 1220 или включающей ее, например, устройством 1210 отображения.

Как показано на фиг. 14, процесс 1400 может включать прием изображений, связанных с компонентом и трехмерной (3D) моделью компонента (блок 1410). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, интерфейс 1370 связи и/или т.п.) может принимать изображения, связанные с компонентом и трехмерной (3D) моделью компонента, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать создание облака точек изображения на основе изображений (блок 1420). Например, измерительная платформа (использующая вычислительный ресурс 1224, процессор 1320, компонент 1340 хранения и/или т.п.) может создавать облако точек изображения на основе изображений, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать создание облака точек модели на основе 3D-модели (блок 1430). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, запоминающее устройство 1330 и/или т.п.) может создавать облако точек модели на основе 3D-модели, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать выполнение первого соотнесения облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек (блок 1440). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, запоминающее устройство 1330 и/или т.п.) может выполнять первое соотнесение облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать выполнение второго соотнесения первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек (блок 1450). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, компонент 1340 хранения и/или т.п.) может выполнять второе соотнесение первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать создание 3D-участков маски на основе вторично соотнесенных облаков точек и проецирование 3D-участков маски на одно или более изображений (блок 1460). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, запоминающее устройство 1330, интерфейс 1370 связи и/или т.п.) может создавать 3D-участки маски на основе вторично соотнесенных облаков точек и может проецировать 3D-участки маски на одно или более изображений, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать обработку 3D-участков маски, спроецированных на одно или более изображений, для определения референсных точек в изображениях (блок 1470). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, компонент 1340 хранения и/или т.п.) может обрабатывать 3D-участки маски, спроецированные на одно или более изображений, для определения референсных точек в изображениях, как описано выше в отношении фиг. 1-11.

Как дополнительно показано на фиг. 14, процесс 1400 может включать определение степени износа, связанной с компонентом, на основе референсных точек (блок 1480). Например, измерительная платформа (например, использующая вычислительный ресурс 1224, процессор 1320, запоминающее устройство 1330 и/или т.п.) может определять степень износа, связанную с компонентом, на основе референсных точек, как описано выше в отношении фиг. 1-11.

Процесс 1400 может включать дополнительные варианты осуществления, например, какой-нибудь один вариант осуществления или любую комбинацию вариантов осуществления, описанных ниже и/или описанных в отношении любого другого процесса, описанного в данном документе.

В некоторых вариантах осуществления измерительная платформа может выполнять действие на основе степени износа, связанной с компонентом. В некоторых вариантах осуществления измерительная платформа может обрабатывать облако точек изображения с использованием фильтра для создания отфильтрованного облака точек изображения и может выполнять первое соотнесение отфильтрованного облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек. В некоторых вариантах осуществления измерительная платформа может выполнять выборку точек из трехмерной модели компонента и может создавать облако точек модели на основе выполнения выборки точек из трехмерной модели компонента.

В некоторых вариантах осуществления измерительная платформа может обрабатывать первично соотнесенные облака точек с помощью способа, основанного на итеративном алгоритме ближайших точек, для создания вторично соотнесенных облаков точек. В некоторых вариантах осуществления измерительная платформа может обрабатывать трехмерные участки маски, спроецированные на одно или более из нескольких изображений, с помощью способа выделения краев и способа преобразования Хафа для определения референсных точек в нескольких изображениях. В некоторых вариантах осуществления измерительная платформа может проецировать референсные точки в облаке точек изображения, может определять местонахождения по меньшей мере двух референсных точек, спроецированных в облаке точек изображения, может определять расстояние на изображении между местонахождениями и может определять степень износа, связанную с компонентом, на основе расстояния изображения.

В некоторых вариантах осуществления измерительная платформа может выполнять действие, которое включает одно или более из предоставления для отображения информации, указывающей на степень износа, связанную с компонентом, автоматического расположения запасного компонента для компонента, предоставления для отображения предложения, связанного с запасным компонентом, и/или предоставления для отображения изображения компонента с наложением компонента модели, предоставленного трехмерной моделью. В некоторых вариантах осуществления измерительная платформа может обрабатывать облако точек изображения с использованием фильтра Гаусса для создания отфильтрованного облака точек изображения и может выполнять первое соотнесение отфильтрованного облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек. В некоторых вариантах осуществления измерительная платформа может выполнять выборку точек из трехмерной модели компонента с помощью искусственных камер и может создавать облако точек модели на основе выполнения выборки точек из трехмерной модели компонента с помощью искусственных камер.

В некоторых вариантах осуществления измерительная платформа может обрабатывать первично соотнесенные облака точек с помощью способа, основанного на итеративном алгоритме ближайших точек, и на основе не быстроизнашивающегося компонента, связанного с компонентом, для создания вторично соотнесенных облаков точек. В некоторых вариантах осуществления измерительная платформа может обрабатывать несколько участков маски, спроецированных на несколько изображений, с помощью способа выделения краев для идентификации краев на нескольких участках маски и может обрабатывать края с помощью способа преобразования Хафа для определения референсных точек в нескольких изображениях. В некоторых вариантах осуществления измерительная платформа может определять расстояние на изображении между местонахождениями и может определять степень износа, связанную с компонентом, на основе расстояния на изображении. В некоторых вариантах осуществления компонент может содержать гусеницу ходового устройства машины.

Хотя на фиг. 14 показаны иллюстративные блоки процесса 1400, в некоторых вариантах осуществления процесс 1400 может включать дополнительные блоки, меньшее количество блоков, разные блоки или блоки, расположенные иначе, чем те, которые изображены на фиг. 14. Дополнительно или альтернативно два или более блоков процесса 1400 могут выполняться параллельно.

Промышленная применимость

Измерительная платформа 1220 для определения износа может использоваться для выполнения измерения компонентов на весьма разнообразных машинах. В некоторых вариантах осуществления измерительная платформа 1220 для определения износа может использоваться для получения двухмерных изображений всей машины или отдельного компонента машины, а также для получения линейных измерений с использованием двухмерных изображений без вывода машины из эксплуатации. Измеренные размеры могут сравниваться с конкретными размерами для определения степеней износа на одном или более компонентах, включенных в двухмерные изображения.

Таким образом, автоматизированы несколько различных этапов процесса определения износа компонентов машины на основе изображений, что может исключить из процесса человеческую субъективность и ненужные траты, и что может улучшить скорость и эффективность процесса и сэкономить вычислительные ресурсы (например, ресурсы обработки, ресурсы памяти и/или т.п.). Кроме того, в вариантах осуществления, описанных в данном документе, используется точный автоматизированный процесс для выполнения задач или ролей, которые ранее не выполнялись или выполнялись ранее с использованием субъективной человеческой интуиции или с участием человека. Например, существующие системы требуют ручного выбора элементов масштабирования на объекте известного размера в нескольких изображениях и требуют ручного выбора референсных точек в нескольких изображениях. Наконец, автоматизация процесса определения износа компонентов машины на основе изображений экономит вычислительные ресурсы (например, ресурсы обработки, ресурсы памяти и/или т.п.), которые в противном случае были бы растрачены впустую при попытке определить износ компонентов машины на основе изображений.

В контексте данного документа формы единственного числа подразумевают включение одного или более элементов и могут быть использованы взаимозаменяемо с термином «один или более». Также подразумевается, что в контексте данного документа термины «имеет», «иметь», «имеющий» или т.п. являются неограничивающими терминами. Дополнительно подразумевается, что выражение «на основе» означает «основанный по меньшей мере частично на».

Вышеизложенное раскрытие обеспечивает иллюстрацию и описание, но не предназначено для того, чтобы быть исчерпывающим или ограничивать варианты осуществления точной раскрытой формы. Модификации и изменения возможны с учетом приведенного выше раскрытия или могут быть получены на основе практического применения вариантов осуществления. Подразумевается, что техническое описание рассматривается лишь в качестве примера, при этом настоящий объем изобретения определяется следующими пунктами формулы изобретения и их эквивалентами. Несмотря на то, что конкретные комбинации признаков изложены в формуле изобретения и/или раскрыты в техническом описании, эти комбинации не предназначены для ограничения раскрытия возможных вариантов осуществления. Хотя каждый зависимый пункт формулы изобретения, указанный ниже, может напрямую зависеть только от одного пункта формулы изобретения, раскрытие возможных вариантов осуществления включает каждый зависимый пункт формулы изобретения в комбинации с каждым другим пунктом формулы изобретения в совокупности пунктов формулы изобретения.

Изобретение относится к устройству и способу измерения износа компонентов машины. Технический результат заключается в повышении точности определения износа компонентов машины. Устройство содержит один или более процессоров для приема нескольких изображений, связанных с компонентом машины; приема трехмерной модели компонента машины; создания облака точек изображения на основе нескольких изображений; создания облака точек модели на основе трехмерной модели компонента машины; выполнения первого соотнесения облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек; выполнения второго соотнесения первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек; создания трехмерных участков маски на основе вторично соотнесенных облаков точек; проецирования трехмерных участков маски на несколько изображений; обработки трехмерных участков маски, спроецированных на несколько изображений, для определения референсных точек в нескольких изображениях и определения степени износа, связанной с компонентом машины, на основе референсных точек. 2 н. и 11 з.п. ф-лы, 14 ил.

1. Устройство (220) измерения износа компонентов машины, содержащее:

один или более процессоров (320) для:

приема нескольких изображений (130), связанных с компонентом (112) машины;

приема трехмерной модели компонента (112) машины;

создания облака точек изображения на основе нескольких изображений (130);

создания облака точек модели на основе трехмерной модели компонента (112) машины;

выполнения первого соотнесения облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек;

выполнения второго соотнесения первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек;

создания трехмерных участков маски на основе вторично соотнесенных облаков точек;

проецирования трехмерных участков маски на несколько изображений (130);

обработки трехмерных участков маски, спроецированных на несколько изображений (130), для определения референсных точек в нескольких изображениях (130) и

определения степени износа, связанной с компонентом (112) машины, на основе референсных точек.

2. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) дополнительно предназначены для

выполнения действия на основе степени износа, связанной с компонентом (112) машины.

3. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) дополнительно предназначены для:

обработки облака точек изображения с использованием фильтра для создания отфильтрованного облака точек изображения, и

при этом один или более процессоров (320) при выполнении первого соотнесения предназначены для

выполнения первого соотнесения отфильтрованного облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек.

4. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) при создании облака точек модели предназначены для:

выполнения выборки точек из трехмерной модели компонента (112) машины и

создания облака точек модели на основе выполнения выборки точек из трехмерной модели компонента (112) машины.

5. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) при выполнении второго соотнесения предназначены для

обработки первично соотнесенных облаков точек с помощью способа, основанного на итеративном алгоритме ближайших точек, для создания вторично соотнесенных облаков точек.

6. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) при обработке трехмерных участков маски, спроецированных на несколько изображений (130), предназначены для

обработки трехмерных участков маски, спроецированных на несколько изображений (130), с помощью способа выделения краев и способа преобразования Хафа для определения референсных точек в нескольких изображениях (130).

7. Устройство (220) по п. 1, отличающееся тем, что один или более процессоров (320) дополнительно предназначены для:

проецирования референсных точек в облаке точек изображения;

определения местонахождений по меньшей мере двух референсных точек, спроецированных в облаке точек изображения и

определения расстояния на изображении между местонахождениями, и

при этом один или более процессоров при определении степени износа, связанной с компонентом (112) машины, предназначены для

определения степени износа, связанной с компонентом (112) машины, на основе расстояния на изображении.

8. Способ измерения износа компонентов машины, выполняемый устройством (220) по п. 1, при этом способ включает:

прием нескольких изображений (130), связанных с компонентом (112) машины;

создание облака точек изображения на основе нескольких изображений (130);

создание облака точек модели на основе трехмерной модели компонента (112) машины;

выполнение первого соотнесения и масштабирования облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек;

выполнение второго соотнесения и масштабирования первично соотнесенных облаков точек для создания вторично соотнесенных облаков точек;

создание участков маски на основе вторично соотнесенных облаков точек;

проецирование участков маски на несколько изображений (130);

обработку участков маски, спроецированных на несколько изображений (130), для определения референсных точек в нескольких изображениях (130);

проецирование референсных точек в облаке точек изображения;

идентификацию местонахождений по меньшей мере двух референсных точек, спроецированных в облаке точек изображения;

вычисление расстояния на изображении между местонахождениями и

определение степени износа, связанной с компонентом (112) машины, на основе расстояния на изображении.

9. Способ по п. 8, отличающийся тем, что дополнительно включает

выполнение действия на основе степени износа, связанной с компонентом (112) машины.

10. Способ по п. 8, отличающийся тем, что дополнительно включает:

обработку облака точек изображения с использованием фильтра для создания отфильтрованного облака точек изображения, и

при этом выполнение первого соотнесения и масштабирования включает

выполнение первого соотнесения и масштабирования отфильтрованного облака точек изображения и облака точек модели для создания первично соотнесенных облаков точек.

11. Способ по п. 8, отличающийся тем, что создание облака точек модели включает:

выполнение выборки точек из трехмерной модели компонента (112) машины с помощью искусственных камер и

создание облака точек модели на основе выполнения выборки точек из трехмерной модели компонента (112) машины с помощью искусственных камер.

12. Способ по п. 8, отличающийся тем, что компонент (112) машины содержит гусеницу ходового устройства машины.

13. Способ по п. 8, отличающийся тем, что выполнение второго соотнесения и масштабирования включает:

обработку первично соотнесенных облаков точек с помощью способа, основанного на итеративном алгоритме ближайших точек, и на основе небыстроизнашивающегося компонента (112) машины, связанного с компонентом (112) машины, для создания вторично соотнесенных облаков точек.