СПОСОБ, УСТРОЙСТВО И СИСТЕМА МОНИТОРИНГА РАБОЧЕГО СОСТОЯНИЯ ТЯЖЕЛОГО ОБОРУДОВАНИЯ, ТАКОГО КАК КАРЬЕРНЫЙ ЭКСКАВАТОР Российский патент 2022 года по МПК G06T1/40 G06N3/02 

Предпосылки создания изобретения

Область техники, к которой относится изобретение

Настоящее изобретение относится в целом к эксплуатации тяжелого оборудования, более точно, к мониторингу рабочего состояния тяжелого оборудования. Описание известного уровня техники

Тяжелое оборудование, такое как карьерные экскаваторы, используют для погрузки материала, такого как руда, отходы или их сочетания, из забоя подземной выработки в грузовой автомобиль-тягач или на конвейер для транспортировки до места переработки. Операции погрузки обычно чреваты, по меньшей мере, некоторой опасностью, поскольку перемещаемый полезный груз может являться тяжелым и причинять тяжелые травмы персоналу, участвующему в операции погрузки. Соответственно, существует потребность в обеспечении эффективного мониторинга операций погрузки участвующим персоналом с целью гарантировать соблюдение правил безопасности и быстрое обнаружение любой неисправности или повреждения погрузочного оборудования.

В карьерных экскаваторах используется землеройное орудие, такое как ковш, имеющий такие компоненты, как зубья, межзубьевая защита, адаптеры и боковая защита, которые могут повреждаться или отсоединяться от землеройного орудия. Соответственно, полезный груз может содержать нежелательные материалы, такие как отделившийся зуб, отделившийся адаптер, отделившаяся межзубьевая защита или крупные куски руды, который не должны погружаться. Такие нежелательные материалы в полезном грузе могут потенциально вызывать повреждение оборудования экскаватора или грузового автомобиля во время погрузки или последующей переработки полезного груза.

Из-за большого размера и высоких капитальных затрат на оборудование для погрузки добытой руды важен мониторинг погрузочных работ в процессе добычи. В частности, при ведении разработки открытым способом используются карьерные экскаваторы, экскаваторы с обратной лопатой или колесные погрузчики чрезвычайно больших размеров для погрузки полезного груза на грузовые автомобили-тягачи таких же больших размеров. Например, у некоторых одноковшовых экскаваторов грузоподъемность ковша составляет 150 тонн или более.

Сохраняется потребность в способах и системах мониторинга операций погрузки с целью обеспечения безопасного и/или эффективного эксплуатации используемого оборудования.

Отделившийся от карьерного экскаватора или от ковша экскаватора зуб или адаптер, который остается не обнаруженным, может застрять в расположенной ниже по потоку дробилке или оказаться на конвейерных лентах для транспортировки полезного груза. В обоих случаях это может привести к остановке добычи и стать серьезной угрозой для безопасности. Извлечение отделившегося зуба из дробилки, в которой находится несколько тонн материала, представляет собой опасную задачу, и известно о полученных травмах и произошедших несчастных случаях с летальным исходом при попытке извлечь отделившиеся части оборудования из дробилки. Аналогичным образом, ремонт конвейерных лент, разорванных отделившимся зубом ковша, также является опасной операцией.

Крупный кусок руды в ковше карьерного экскаватора создает сходные проблемы, поскольку он может повредить компоненты ковша. Падение крупного куска руды в грузовой автомобиль-тягач может приводить к его сильному встряхиванию, способному повредить автомобиль и/или нанести травму водителю. Крупные куски руды также могут блокировать расположенную ниже по потоку дробилку, что требует применения инструментов, таких как гидроударник для их раздробления. Части застрявшего крупного куска руды также могут становиться опасными летящими предметами, которые могут ударяться о части дробилки, такие как ограждение для защиты оператора.

Краткое изложение сущности изобретения

В соответствии с одной из раскрытых особенностей предложен реализованный в процессоре компьютера способ мониторинга рабочего состояния тяжелого оборудования. Способ включает прием множества изображений, по меньшей мере, рабочего инструмента на интерфейсе встроенного процессора, установленного на тяжелом оборудовании. Способ также включает обработку каждого из множества изображений с использованием реализованной во встроенном процессоре первой нейронной сети, которая предварительно обучена идентифицировать представляющие интерес области изображения. Каждая представляющая интерес области обозначается соответствующим образом, по меньшей мере, как одно из следующего: критическая область, применимая для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования, и некритическая область, применимая для извлечения информации о некритическом рабочем состоянии тяжелого оборудования. Способ дополнительно включает побуждение встроенного процессора инициировать дополнительную обработку данных изображения, соответствующих критическим областям, для генерирования локального выходного сигнала с целью предупреждения оператора тяжелого оборудования о соответствующем критическом состоянии. Способ также включает передачу данных изображения, соответствующих критическим областям, удаленному процессору, который оперативно сконфигурирован на дополнительную обработку данных изображения и генерирование выходных сигналов, представляющих результаты дополнительной обработки. Способ дополнительно включает прием выходных сигналов, который генерирует удаленный процессор, встроенным процессором или другим процессором, связанным с местом эксплуатации тяжелого оборудования, при этом выходные сигналы могут представляться через электронный интерфейс пользователя, по меньшей мере, частично на основании выходных сигналов для указания результатов дополнительной обработки.

Первая нейронная сеть может быть оперативно сконфигурирована на генерирование вероятностной диаграммы для каждой представляющей интерес области с указанием вероятности каждого пикселя или группы пикселей изображения конкретной представляющей интерес области, при этом способ может дополнительно включать побуждение встроенного процессора устанавливать корреляцию между вероятностной диаграммой и эталоном, который соответствует конкретной представляющей интерес области и содержит информацию, основанную на физической протяженности и форме объекта в представляющей интерес области, и в ответ на установление того, что корреляция между вероятностной диаграммой и эталоном удовлетворяет определенному критерию, побуждение встроенного процессора идентифицировать часть изображения, соответствующую эталону, для дополнительной обработки.

Установление того, что корреляция между вероятностной диаграммой и эталоном удовлетворяет определенному критерию, может включать выбор последовательных частей вероятностной диаграммы на основании эталона, вычисление значения корреляции для каждой последовательной части и идентификацию части изображения для дополнительной обработки на основании идентификации одной из последовательных частей вероятностной диаграммы с максимальным значением корреляции, которое также удовлетворяет критерию корреляции.

Способ может включать первой нейронной сети идентифицировать представляющие интерес области путем (а) первого обучения нейронной сети, содержащей первое множество взаимосвязанных нейронов, каждый из которых имеет соответствующую весомость, с использованием первого множества маркированных изображений критических областей и некритических областей, (b) оценки производительности нейронной сети на основании полученных результатов для обработки второго множества маркированных изображений, (с) отсечения нейронов с весомостью ниже порога отсечения с целью усеченной нейронной сети получения, содержащей второе множество взаимосвязанных нейронов, (d) повторной оценки производительности усеченной нейронной сети, содержащей второе множество взаимосвязанных нейронов, на основании полученных результатов для обработки второго множества маркированных изображений, (е) повторения шагов (с) и (d), если отсечение нейронов оказывает приемлемое влияние на производительность нейронной сети, при этом усеченная сеть, содержащая сокращенное количество нейронов, используется для реализации первой нейронной сети во встроенном процессоре.

Оценка производительности нейронной сети и повторная оценка производительности усеченной нейронной сети могут быть основаны на вычислении функции затрат, которая учитывает повышенное быстродействие усеченной нейронной сети и меньшую точность маркированного результата, полученного с использованием ранее маркированных обучающих изображений.

Обработка каждого из множества изображений может включать обработку изображений с целью идентификации как критической области одного из следующего: области изнашиваемой детали рабочего инструмента для обнаружения отсутствия изнашиваемой детали и области полезной нагрузки рабочего инструмента для обнаружения крупного куска руды.

Обработка каждого из множества изображений может включать обработку изображений с целью идентификации как некритической области, одного из следующего: области изнашиваемой детали рабочего инструмента для определения ее степени изнашивания, области полезной нагрузки рабочего инструмента для анализа фрагментации полезного груза и области ковша рабочего инструмента для определения заполнения ковша.

Прием множества изображений может включать прием множества изображений рабочего инструмента и области, окружающей рабочий инструмент, а обработка каждого из множества изображений может включать обработку изображений с целью идентификации как критической области одного из следующего: транспортного средства, появляющегося на изображении в месте, обозначенном как зона опасности, и связанного с манипулированием рабочим инструментом компонента, появляющегося вне зоны эксплуатации рабочего инструмента.

Побуждение встроенного процессора обрабатывать изображения, идентифицированные как применимые для извлечения требуемой информации о критическом рабочем состоянии, может включать обработку идентифицированных изображений с использованием второй нейронной сети, которая ранее обучена извлекать информацию о критическом рабочем состоянии из представляющей интерес области.

Обработка идентифицированных изображений с использованием второй нейронной сети может включать обработку идентифицированных изображений с использованием сверточной нейронной сети, имеющей разреженное ядро.

Обработка каждого из множества изображений может включать обработку изображений с целью идентификации области изнашиваемой детали рабочего инструмента как критической области, а побуждение встроенного процессора инициировать дополнительную обработку может включать побуждение встроенного процессора обрабатывать данные изображения, соответствующие области изнашиваемой детали, с использованием второй нейронной сети, которая ранее обучена идентифицировать изнашиваемые компоненты изнашиваемой детали.

Вторая нейронная сеть может быть оперативно сконфигурирована на генерирование вероятностной диаграммы с указанием вероятности каждого пикселя или группы пикселей изображения, соответствующих изнашиваемому компоненту, при этом способ может дополнительно включать побуждение встроенного процессора устанавливать корреляцию между вероятностной диаграммой и эталоном изнашиваемого компонента, который содержит информацию, основанную на физической протяженности и форме изнашиваемого компонента, и в ответ на установление того, что корреляция между вероятностной диаграммой и эталоном изнашиваемого компонента удовлетворяет определенному критерию, побуждение встроенного процессора идентифицировать отдельные изнашиваемые компоненты изнашиваемой детали.

Способ может включать побуждение встроенного процессора определять местоположение отслеживаемого элемента, соответствующего каждому идентифицированному изнашиваемому компоненту в данных изображения, и может дополнительно включать побуждение встроенного процессора генерировать предупреждение об отсутствии изнашиваемого компонента при изменении местоположения отслеживаемого элемента на последовательных изображениях на величину, превышающую порог отсутствия изнашиваемого компонента.

Изнашиваемой деталью может являться ряд зубьев, изнашиваемыми компонентами могут являться соответствующие зубья из ряда зубьев, а отслеживаемым элементом могут являться вершины соответствующих зубьев.

Способ может включать побуждение встроенного процессора идентифицировать эталонный зуб среди множества зубьев и генерировать траекторию отслеживаемого признака для эталонного зуба на последовательных изображениях из множества изображений, определять соответствие траектории отслеживаемого признака на последовательных изображениях с целью подтверждения идентификации эталонного зуба, в ответ на подтверждение идентификации эталонного зуба на изображении идентифицировать остальные зубья на изображении относительно эталонного зуба с целью однозначной идентификации каждого зуба на изображении, а побуждение встроенного процессора генерировать предупреждение об отсутствии зуба может включать побуждение встроенного процессора генерировать предупреждение об отсутствии зуба, однозначно идентифицирующее зуб, местоположение отслеживаемого признака которого изменилось на величину, превышающую порог обнаружения отсутствия зубьев.

Способ может включать побуждение встроенного процессора сохранять информацию о местоположении отслеживаемого признака, при этом побуждение встроенного процессора генерировать предупреждение об отсутствии зуба может включать побуждение встроенного процессора генерировать предупреждение об отсутствии зуба в ответ на обнаружение изменения местоположения отслеживаемого признака на последовательных изображениях на величину, превышающую порог обнаружения отсутствия зубьев.

Способ может включать побуждение встроенного процессора сохранять информацию о местоположении отслеживаемого признака и в ответ на обнаружение изменения местоположения отслеживаемого признака на последовательных изображениях на меньшую величину, чем порог обнаружения отсутствия зубьев, обновлять сохраненную информацию о местоположении на основании измененного местоположения.

Обработка каждого из множества изображений может включать побуждение встроенного процессора обрабатывать изображения с целью идентификации областей, удовлетворяющих определенному критерию успешного установления состояния изнашивания изнашиваемой детали рабочего инструмента, как некритических областей, и передачу данных изображения, соответствующих идентифицированным областям, удаленному процессору для дополнительной обработки с целью мониторинга скорости изнашивания изнашиваемой детали.

Побуждение встроенного процессора передавать выбранные изображения может включать побуждение встроенного процессора использовать нейронную сеть, которая ранее обучена присваивать определенную вероятность пикселям изображения, содержащим признаки изнашивания, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих признак изнашивания, и определять, что критерий успешного установления состояния изнашивания изнашиваемой детали может быть удовлетворен, когда изображение содержит минимальное количество групп пикселей, с высокой вероятностью отображающих признак изнашивания.

Изнашиваемой деталью может являться ряд зубьев, состоящий из множества зубьев, а способ может дополнительно включать побуждение удаленного процессора дополнительно обрабатывать изображения, переданные встроенным процессором, путем обработки изображений с использованием нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения, содержащим признаки изнашивания, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих признак изнашивания, и обработки выбранных изображений с использованием второй нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения зуба, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих зуб.

Дополнительная обработка может дополнительно включать генерирование, по меньшей мере, одного из следующего: скорости изнашивания, характера изнашивания и расчетного срока службы каждого зуба из множества зубьев путем установления состояния зуба в зависимости от продолжительности эксплуатации тяжелого оборудования.

Дополнительная обработка может дополнительно включать генерирование уровня достоверности, соответствующего состоянию каждого зуба, определенному во время дополнительной обработки, при этом уровень достоверности основан на количестве признаков изнашивания зуба, которые идентифицированы на изображении.

Признак изнашивания может содержать часть рабочего инструмента, которая изнашивается с меньшей скоростью во время работы тяжелого оборудования, чем множество зубьев.

Прием множества изображений может включать прием изображений от датчика изображений, чувствительного в основном к волнам видимой области спектра, или датчика изображений, чувствительного к волнам инфракрасной области спектра.

Прием множества изображений может включать прием изображений от пары разнесенных датчиков изображений, способных генерировать трехмерную информацию, представляющую объекты в пределах видимости датчиков изображений.

Обработка множества изображений может включать обработку изображений с целью получения трехмерных данных глубины, соответствующих пикселям изображений, при этом идентификация представляющих интерес областей может быть основана на трехмерных данных глубины.

Передача данных изображения удаленному процессору может включать передачу трехмерных данных изображения удаленному процессору для использования при определении размеров объектов в пределах видимости датчиков изображений.

Обработка каждого из множества изображений может включать побуждение встроенного процессора выбирать изображения из множества изображений с использованием первой нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения несущего полезный груз рабочего инструмента, при этом изображения выбираются на основании включения в целом непрерывной области с более высокой присвоенной вероятностью, отображающей полезный груз, и выбранные изображения представляют перемещение рабочего инструмента при выполнении операции погрузки, обработку изображений с целью различения полезного груза и области фона на изображении путем обработки последовательных изображений с целью идентификации участков статического изображения, которые остаются преимущественно неизменными на последовательных изображениях и с более высокой вероятностью соответствуют полезному грузу, при этом передача данных изображения, соответствующих некритическим областям, удаленному процессору включает выбор, по меньшей мере, одного применимого изображения и передачу выбранного изображения удаленному процессору для дополнительной обработки в удаленном процессоре с использованием второй нейронной сети с целью идентификации фрагментированных частей материала полезного груза на участках статического изображения.

В соответствии с другой особенностью предложена система мониторинга рабочего состояния тяжелого оборудования. Система содержит установленный на тяжелом оборудовании встроенный процессор с интерфейсом для приема множества изображений, по меньшей мере, рабочего инструмента тяжелого оборудования. Встроенный процессор оперативно сконфигурирован на обработку каждого из множества изображений с использованием первой нейронной сети, которая ранее обучена идентифицировать представляющие интерес области изображения, каждая из которых обозначается соответствующим образом, по меньшей мере, как одно из следующего: критическая область, применимая для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования, и некритическая область, применимая для извлечения информации о некритическом рабочем состоянии тяжелого оборудования. Встроенный процессор оперативно сконфигурирован на инициирование дополнительной обработки данных изображения, соответствующих критическим областям, для генерирования локального выходного сигнала с целью предупреждения оператора тяжелого оборудования о соответствующем критическом состоянии. Система также содержит передатчик, поддерживающий связь с встроенным процессором и оперативно сконфигурированный на передачу удаленному процессору данных изображения, соответствующих некритическим областям. Удаленный процессор оперативно сконфигурирован на дополнительную обработку данных изображения и генерирование выходных сигналов, представляющих результаты дополнительной обработки, при этом выходные сигналы, генерируемые удаленным процессором, принимаются встроенным процессором или другим процессором, связанным с местом эксплуатации тяжелого оборудования, и выходные сигналы могут представляться через электронный интерфейс пользователя, по меньшей мере, частично на основании выходных сигналов для указания результатов дополнительной обработки.

Другие особенности и признаки изобретения станут очевидными для специалистов в данной области техники после ознакомления со следующим далее описанием конкретных раскрытых вариантов осуществления в сочетании с прилагаемыми чертежами.

Краткое описание чертежей

На чертежах, иллюстрирующих раскрытые варианты осуществления:

на фиг. 1А показан вид в перспективе системы мониторинга рабочего состояния карьерного экскаватора для выемки руды из забоя согласно одному из раскрытых вариантов осуществления;

на фиг. 1В, 1С показаны виды в перспективе экскаватора с обратной лопатой и гидравлического одноковшового экскаватора с прямой лопатой согласно другому раскрытому варианту осуществления;

на фиг. 2А показан вид в перспективе процессора и дисплея системы, проиллюстрированной на фиг. 1А;

на фиг. 2В показана блок-схема процессора, используемого для реализации системы мониторинга, проиллюстрированной на фиг. 1А;

на фиг. 3 показана блок-схема, содержащая блоки программы, предписывающей встроенному процессору осуществлять мониторинг рабочих состояний карьерного экскаватора, проиллюстрированного на фиг. 1;

на фиг. 4 показан вид в плане забоя горной выработки, проиллюстрированной на фиг. 1А;

на фиг. 5 показана блок-схема удаленного процессора, используемого для реализации системы, проиллюстрированной на фиг. 1А;

на фиг. 6 показано схематичное представление первой нейронной сети, реализованной в процессоре, проиллюстрированном на фиг. 2;

на фиг. 7 показан пример изображений и выходных сигналов, генерируемых первой нейронной сетью, проиллюстрированной на фиг. 6;

на фиг. 8 показана блок-схема процесса, содержащая блоки программы, предписывающей проиллюстрированному на фиг. 2 процессору осуществлять часть процесса, проиллюстрированного на фиг. 3;

на фиг. 9А показан пример вероятностной диаграммы, представляющей выходной сигнал первой нейронной сети, проиллюстрированной на фиг. 6;

на фиг. 9В показаны примеры изображений крупных кусков руды в полезном грузе экскаватора;

на фиг. 10 показана блок-схема процесса, содержащая блоки программы, предписывающей проиллюстрированному на фиг. 2 процессору отслеживать перемещение представляющих интерес областей;

на фиг. 11 показана блок-схема процесса, содержащая блоки программы, предписывающей проиллюстрированному на фиг. 2 процессору осуществлять процесс обнаружения недостающих зубьев;

на фиг. 12А показан пример вероятностной диаграммы, генерируемой второй нейронной сетью, реализованной в проиллюстрированном на фиг. 2 процессоре, с целью идентификации компонентов изнашиваемой детали;

на фиг. 12В показан пример выходных сигналов, генерируемых и отображаемых в ходе осуществления процесса, проиллюстрированного на фиг. 11;

на фиг. 13 показана блок-схема процесса, содержащая блоки программы, предписывающей проиллюстрированному на фиг. 2 процессору осуществлять часть проиллюстрированного на фиг. 3 процесса с целью идентификации данных изображения, применимых для передачи проиллюстрированному на фиг. 5 процессу для дополнительной обработки;

на фиг. 14 показан вид в перспективе конструкции, поддерживающей область ряда зубьев рабочего инструмента проиллюстрированного на фиг. 1 карьерного экскаватора,

на фиг. 15 показан пример маркированного обучающего изображения области ряда зубьев и признаков изнашивания рабочего инструмента;

на фиг. 16 показана блок-схема процесса, содержащая блоки программы, предписывающей проиллюстрированному на фиг. 2 процессору осуществлять идентификацию данных изображения, применимых для дополнительной обработки с целью обнаружения фрагментации;

на фиг. 17 показано изображение рабочего инструмента проиллюстрированного на фиг. 1 карьерного экскаватора и выходной сигнал алгоритма оптического потока, реализованного в проиллюстрированном на фиг. 2 встроенном процессоре.

Подробное описание

Рассмотрим фиг. 1А, на которой показана система мониторинга рабочего состояния тяжелого оборудования, обозначенная позицией 100. Система 100 мониторинга содержит встроенный процессор 102, установленный на тяжелом оборудовании, в данном случае на карьерном экскаваторе 104. Карьерный экскаватор 104 имеет рабочий инструмент 106, содержащий множество зубьев 108 (ряд зубьев) для выемки руды и погрузки полезного груза 110 из забоя 112 открытой разработки. В других вариантах осуществления тяжелым оборудованием может являться скребковый экскаватор, экскаватор с обратной лопатой, колесный погрузчик или любое другое устройство для перемещения груза, сопряженное с погрузочным оборудованием различных типов для погрузки полезного груза. В этом варианте осуществления полезный груз представляет собой извлеченную руду внутри ковша карьерного экскаватора 104, но в других вариантах осуществления полезный груз может представлять собой различные материалы.

Карьерный экскаватор 104 имеет корпус 114, который с возможностью вращения установлен на гусеничных направляющих 116. Карьерный экскаватор 104 имеет стрелу 118, установленную на корпусе 114, и опорный блок 120, установленный на стреле. В опорный блок 120 входит напорный механизм 122, на конце которого с возможностью поворота установлен рабочий инструмент 106. От рабочего инструмента 106 через шкив 126 проходит подъемный трос 124, который наматывается на барабан лебедки (не показанной) внутри корпуса карьерного экскаватора 104. Опорный блок 120 позволяет напорному механизму 122 поворачиваться вокруг него, когда подъемный трос 124 выдвигается или втягивается. Опорный блок 120 также позволяет напорному механизму 122 выдвигаться и втягиваться для размещения рабочего инструмента 106 с целью выемки руды из забоя 112.

Встроенный процессор 102 содержит интерфейс (не показанный) для приема множества изображений, по меньшей мере, рабочего инструмента 106 тяжелого оборудования. В проиллюстрированном варианте осуществления изобретения карьерный экскаватор 104 имеет датчик 128 изображений, установленный посредством кронштейна 130 на стреле 118 экскаватора. Датчик 128 изображений более подробно показан на вставке 150 и в этом варианте осуществления содержит осветительный прибор 152 для освещения поля обзора камеры. В проиллюстрированном варианте осуществления датчик 128 изображений служит для захвата изображений рабочего инструмента 106, но его поле обзора может выбираться таким образом, чтобы также захватывать другие компоненты, связанные с управлением рабочим инструментом 106, такие как подъемный трос 124, и окружающую среду. В проиллюстрированном варианте осуществления для приема полезного груза 110, извлеченного карьерным экскаватором 104, служит грузовой автомобиль-тягач 140.

Карьерный экскаватор 104 также имеет передатчик 134, управляемый встроенным процессором 102, а система 100 дополнительно содержит удаленный процессор 136, имеющий приемопередатчик 138 для приема данных, передаваемых передатчиком 134, установленным на карьерном экскаваторе 104. В качестве альтернативы, передатчик 134 на карьерном экскаваторе 104 может быть сконфигурирован на соединение с глобальной сетью 142 для передачи данных изображения, соответствующих некритическим областям, удаленному процессору 136. Соединение с сетью Интернет может осуществляться по сотовой сети передачи данных, или передатчик 134 может быть сконфигурирован на соединения с точкой беспроводного доступа, расположенной вблизи забоя 112. Удаленный процессор 136 может соединяться с глобальной сетью 142 посредством проводного соединения 146 или через приемопередатчик 138.

Как показано на фиг. 1В, аналогичный датчику 128 изображений датчик может быть установлен на другом тяжелом оборудовании, таком как экскаватор с обратной лопатой, обозначенный позицией 160. Экскаватор 160 с обратной лопатой имеет ковш 162 с зубьями 164. В проиллюстрированном варианте осуществления показано два возможных местоположения датчиков 166 и 168 изображений, каждый из которых имеет соответствующее поле обзора 170 и 172. Датчики 166 и 168 изображений более подробно показаны на вставке 174, и в этом варианте осуществления каждый из них содержит датчик 176 спектра видимого излучения и источник 178 освещения для освещения поля 170 или 172 обзора.

Как показано на фиг. 1С, аналогичный датчику 102 датчик может быть, в качестве альтернативы, установлен на гидравлическом одноковшовом экскаваторе с прямой лопатой, который обозначен позицией 180 и имеет ковш 182 с зубьями 184. На рычажном механизме 188, который поддерживает ковш 182 экскаватора, установлен датчик 186 изображений. Датчик 186 изображений более подробно показан на вставке 190 и содержит датчик 192 спектра видимого излучения и источник 194 освещения для освещения ковша 182 экскаватора.

Встроенный процессор

В одном из вариантов осуществления встроенный процессор 102 может быть реализован с использованием промышленного процессора, такого как показан на фиг. 2А. Встроенный процессор 102 соединен с дисплеем 226, который может быть установлен в кабине 132 карьерного экскаватора 104 для просмотра оператором карьерного экскаватора.

На фиг. 2В показана блок-схема встроенного процессора 102. Как показано на фиг.2 В, встроенный процессор 102 содержит микропроцессор 200 и поддерживающие с ним связь память 202 и порт 204 ввода-вывода. В одном из вариантов осуществления встроенный процессор 102 может быть оптимизирован для выполнения функций обработки изображений путем включения графического процессора 234 (GPU) с целью ускорения задач обработки изображений, выполняемых процессором. В других вариантах осуществления (не показанных) встроенный процессор 102 может быть частично или полностью реализован с использованием, например, аппаратной логической схемы, содержащей дискретные логические схемы и/или специализированную интегральную схему (ASIC).

Микропроцессор 200 также содержит интерфейсный порт 206 (такой как интерфейсный порт SATA) для подсоединения запоминающего устройства 208 большой емкости, такого как жесткий диск или полупроводниковый дисковод. Управляющие программы, предписывающие микропроцессору 200 выполнение функций мониторинга рабочих состояний карьерного экскаватора 104, могут храниться в памяти 202 или в запоминающем устройстве 208 большой емкости.

Порт 204 ввода-вывода также может содержать интерфейс 210, имеющий порты 212 и 214 для соединения с передатчиком 134. В одном из вариантов осуществления карьерный экскаватор 104 может быть соединен с локальной беспроводной сетью, а порт 212 может представлять собой порт Wi-Fi с использованием протокола беспроводной связи, такого как протокол IEEE 802.11 связи по локальной сети. В других вариантах осуществления может использоваться проводная сеть, такая как сеть Ethernet, а порт 214 может представлять собой как порт Ethernet для соединения с локальной сетью. Передатчик 134 на карьерном экскаваторе 104 также может быть соединен с локальной сетью беспроводным способом или посредством проводного соединения. Управляющие программы могут загружаться в память 202 или запоминающее устройство 208 большой емкости через интерфейс 210.

Порт 204 ввода-вывода также содержит интерфейс 220, имеющий выход 222 для генерирования сигналов управления дисплеем 226. В одном из вариантов осуществления дисплей 226 может быть реализован как дисплей с сенсорным экраном, а интерфейс 220 также может содержать порт 224 USB, поддерживающий связь с сенсорным интерфейсом дисплея для приема данных, вводимых оператором. Порт 204 ввода-вывода 204 также может иметь дополнительные порты USB (не показанные) для подключения клавиатуры и/или других периферийных устройств сопряжения.

Порт 204 ввода-вывода дополнительно содержит порт 230 ввода сигналов изображения для приема сигналов изображения от датчика 128 изображений. В одном из вариантов осуществления датчиком 128 изображений может являться цифровая камера, а портом 230 сигналов изображения может являться порт стандарта IEEE 1394 (FireWire), порт универсальной последовательной шины или другой применимый порт для приема сигналов изображения. В других вариантах осуществления датчиком 128 изображений может являться аналоговая камера, которая формирует видеосигналы, например, стандарта NTSC или PAL, а портом 230 сигналов изображения может являться аналоговый вход интерфейса 232 захвата кадра. Датчик 128 изображений может обладать чувствительностью к волнам конкретного диапазона, например, к волнам видимой области спектра и/или инфракрасной области спектра. Чувствительность к волнам инфракрасной области спектра может являться предпочтительной в случаях, когда между представляющими интерес областями может существовать разность температур. Например, область ряда зубьев обычно имеет повышенную температуру из-за контакта с рудой при ее выемке из забоя 112.

Таким образом, датчик 128 изображений может быть реализован с использованием монохромных или цветных датчиков, которым, вероятно, требуется источник света для освещения объекта в ночное время или в условиях слабого освещения. В качестве альтернативы, датчик 128 изображений может быть реализован с использованием (тепловых) датчиков инфракрасного (ИК) излучения или ближнего инфракрасного излучения (БИК), чувствительных к температуре компонентов рабочего инструмента 106. Например, землеройные зубья 108 обычно нагреваются в процессе выемки руды, в результате чего соответствующие им пиксели имеют более высокую интенсивность на захваченных изображениях. Одним из преимуществ термического формирования изображений также является возможность исключения необходимости дополнительного освещения.

В некоторых вариантах осуществления датчик 128 изображений может быть реализован как стереоскопическая камера, способная использовать стереоизображение для получения трехмерного плотного множества точек объекта. На фиг. 18 проиллюстрирован один из примеров стереоскопической камеры повышенной прочности, обозначенной позицией 1800. Стереоскопическая камера 1800 содержит первый формирователь 1802 и второй формирователь 1804 изображений, установленные на некотором расстоянии друг от друга внутри корпуса 1806 повышенной прочности. Формирователи 1802 и 1804 изображений захватывают изображения с различных точек обзора. Посредством обработки пикселей, соответствующих объекту, изображение которого получено с двух различных точек обзора, могут вычисляться трехмерные координаты объектов в пределах видимости, таких как крупные куски руды, зубья и другие объекты. Преимуществом трехмерных координат является обеспечение информации о размере и глубине в представляющих интерес областях. Например, разность между значениями глубины для руды, загруженной в рабочий инструмент, и для руды в забое 112 может использоваться для различения двух масс руды и тем самым облегчать дальнейший анализ полезного груза. Аналогичным образом, трехмерные координаты землеройных зубьев 108 на рабочем инструменте 106 могут использоваться для определения того, не поврежден ли или не отсутствует ли зуб, а также скорости изнашивания зуба на основании трехмерных данных. Трехмерные координаты могут дополнительно использоваться для определения размера крупных кусков и фрагментов руды

Способ мониторинга рабочих состояний

Рассмотрим фиг. 3, на которой показана в целом обозначенная позицией 300 блок-схема, содержащая блоки программы, предписывающей встроенному процессору 102 осуществлять мониторинг рабочих состояний карьерного экскаватора 104. Блоки обычно представляют коды, которые могут загружаться в память 202 или запоминающее устройство 208 большой емкости посредством интерфейса 210, чтобы предписывать микропроцессору 200 выполнение различных функций, связанных с мониторингом рабочих состояний. Абсолютный код для реализации каждого блока может записываться на любом применимом языке программирования, таком как, например, С, С++, С#, Java и/или программа на языке ассемблера.

Процесс начинается в шаге 302, на котором микропроцессору 200 предписывается прием каждого из множества изображений через порт 230 сигналов изображения встроенного процессора 102. Затем на шаге 304 микропроцессору 200 предписывается обработка каждого из множества изображений с использованием первой нейронной сети с целью идентификации представляющих интерес областей изображения. Первая нейронная сеть ранее обучена идентифицировать различные представляющие интерес области в пределах каждого изображения.

Рассмотрим фиг. 4, на которой в качестве примера показан вид в плане забоя 112, карьерного экскаватора 104 и грузового автомобиля-тягача 140. Карьерный экскаватор 104 поворачивается к грузовому автомобилю-тягачу 140, чтобы перенести в него полезный груз 110. В этих условиях датчик 128 изображений может захватывать изображение, как указано пунктирной линией 400 на фиг. 4. Соответственно, изображение будет содержать такие элементы, как рабочий инструмент 106, полезный груз 110, ряд 108 зубьев на рабочем инструменте, часть автомобиля-тягача 140 и участки почвы между карьерным экскаватором 104 и автомобилем-тягачом. Таким образом, первая нейронная сеть, реализованная во встроенном процессоре 102, может быть обучена идентифицировать каждый из этих элементов изображения. Обучение нейронной сети подробнее описано далее, но оно обычно включает конфигурирование нейронной сети на основании результатов, генерированных сетью для набора маркированных обучающих изображений, на которых были идентифицированы вышеупомянутые элементы изображения.

Каждая идентифицированная представляющая интерес области также обозначается как критическая область и/или некритическая область. Критические области применимы для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования. Например, обнаружение отсутствия зубьев обычно считается критическим рабочим состоянием, поскольку отделившийся зуб может оказаться в полезном грузе 110 и, соответственно, может быть погружен на автомобиль-тягач 140. При последующей переработке полезного нагрузка 110 зуб может повреждать ролики для дробления руды и приводить к простою. Другим критическим рабочим состоянием может являться присутствие в полезном грузе 110 крупного или негабаритного куска руды, который слишком велик для переработки и может вызывать аналогичные повреждения и/или простои. Например, негабаритные куски руды часто создают загромождения и препятствия во время дробления при последующей переработке. Представляющие интерес области крупных кусков руды обозначаются как критические области с целью обеспечения своевременного оповещения оператора экскаватора 104. Затем оператор может решать, следует ли продолжить погрузку полезного груза 110, включающего крупный кусок руды, или отбраковать полезный груз. Примерами других критических рабочих состояний могут служить присутствие непредвиденного транспортного средства, такого как грузовой автомобиль 402 малой грузоподъемности в рабочей зоне карьерного экскаватора 104. Соответственно, первая нейронная сеть также может быть обучена идентифицировать транспортные средства или части транспортного средства и обозначать их как критическую область.

Представляющие интерес некритические области могут идентифицироваться и использоваться для извлечения информации о некритическом рабочем состоянии тяжелого оборудования. Например, заполнение рабочего инструмента 106 для каждого полезного груза 110, степень фрагментации полезного груза и мониторинг изнашивания зубьев в ряде 108 зубьев являются важными, но не критическими эксплуатационными параметрами для текущей работы карьерного экскаватора 104. Такая информация может генерироваться и использоваться с течением времени с целью оценки и обеспечения обратной связи для оператора карьерного экскаватора 104 и/или другого персонала, отвечающего за эффективность операций выемки. В некоторых случаях одна и та же представляющая интерес область может обозначаться как критическая область и некритическая область. Например, ряд 108 зубьев рабочего инструмента 106 обозначается как критическая область в целях обнаружения недостающих зубьев, но также может обозначаться как некритическая область, которая содержит информацию, относящуюся к мониторингу изнашивания зубьев.

Затем процесс 300 продолжается на шаге 306, на котором микропроцессору 200 предписывается определить, обозначена ли идентифицированная представляющая интереса область как критическая область, и в этом случае выполняется шаг 308. На шаге 308 микропроцессору 200 встроенного процессора 102 предписывается инициировать дополнительную обработку данных изображения представляющей интерес области с целью извлечения информации о критическом рабочем состоянии. Например, микропроцессор 200 может осуществлять обнаружение недостающих зубьев в ряде 108 зубьев, чтобы определять, все ли зубья присутствуют в данных изображения.

Затем микропроцессор 300 переходит к шагу 310, на котором микропроцессору 200 предписывается определить, было ли обнаружено после дополнительной обработки критическое рабочее состояние, такое как недостающий зуб. В некоторых вариантах осуществления может обрабатываться множество последовательных изображений, на которых были идентифицированы критические области, чтобы оценить, присутствует ли критическое рабочее состояние. Например, во время выемки забоя 112 рабочим инструментом 106, как показано на фиг. 1, вероятность отсоединения одного из зубьев из ряда 108 зубьев является более высокой, чем при перемещении карьерным экскаватором 104 полезного груза 110 на автомобиль-тягач 140. Однако во время выемки зубья могут быть частично скрыты в течение некоторого времени, и, соответственно, не все изображения будут применимы для обнаружения критического рабочего состояния. В одном из вариантов осуществления на шаге 310 микропроцессору 200 предписывается определить, правильно ли обнаружено критическое рабочее состояние на последовательных изображениях, до принятия окончательного решения.

Если на шаге 310 обнаружено критическое рабочее состояние, то микропроцессор 200 переходит к шагу 312, на котором микропроцессору 200 предписывается инициировать оповещение оператора. Оповещение оператора может принимать форму отображаемого на дисплее 226 предупреждения и/или звукового предупреждения в кабине 132 карьерного экскаватора 104. Если на шаге 310 не обнаружено критического рабочего состояния, микропроцессор 200 возвращается у шагу 302 с целью обработки следующего изображения или последовательности изображений.

Если на шаге 306 установлено, что идентифицированная представляющая интерес область не обозначена как критическая область, микропроцессор переходит к шагу 314. На шаге 314 микропроцессору 200 предписывается определить, является ли идентифицированная область некритической областью, и в этом случае микропроцессор переходит к шагу 316. На шаге 316 микропроцессору 200 предписывается побудить интерфейс 210 к передаче данных, связанных с представляющей интерес некритической областью, посредством передатчика 134 удаленному процессору 136.

Удаленный процессор

На фиг. 5 показана блок-схема реализации удаленного процессора 136. Как показано на фиг. 5, удаленный процессор 136 содержит микропроцессор 500 и поддерживающие с ним связь память 502 и порт 504 ввода-вывода. Микропроцессор 500 может также содержать интерфейсный порт 506 (такой как интерфейсный порт SATA) для подсоединения запоминающего устройства 508 большой емкости, такого как жесткий диск или полупроводниковый дисковод. Управляющие программы, предписывающие микропроцессору 500 выполнение функций дополнительной обработки данных представляющих интерес некритических областей, могут храниться в памяти 502 или запоминающем устройстве 508 большой емкости.

Порт 504 ввода-вывода содержит интерфейс 510 для подсоединения к приемопередатчику 138. В одном из вариантов осуществления интерфейс 510 подсоединен к глобальной сети 142 проводным соединением 146 через порт 514. В других вариантах осуществления соединение может являться беспроводным через порт 512 и приемопередатчик 138. Управляющие программы могут быть загружаться в память 502 или запоминающее устройство 508 большой емкости через интерфейс 510. Порт 504 ввода-вывода может также иметь дополнительные порты универсальной последовательно шины (не показанные) для подсоединения дисплея, клавиатуры и/или других периферийных устройств сопряжения.

В одном из вариантов осуществления удаленный процессор 136 может находиться рядом с забоем в центральном местоположении, соединенном проводным и/или беспроводным соединением с глобальной сетью 144. В других вариантах осуществления удаленный процессор 136 может управляться поставщиком системы 100 мониторинга. В другом варианте осуществления удаленный процессор 136 может быть обеспечиваться платформой вычислений в облаке, такой как Amazon Web Services (AWS). AWS предоставляет по подписке виртуальные компьютеры, которые обеспечивают свойства, требуемые от удаленного процессора 136, включая микропроцессор 500, графический процессор, если он требуется, локальное запоминающее устройство и запоминающее устройство большой емкости.

Вернемся к фиг. 3, на которой показана блок-схема, в целом обозначенная позицией 330 и содержащая блоки программы, предписывающей удаленному процессору 136 осуществлять обработку принятых от встроенного процессора 102 данных некритических областей. Процесс начинается на шаге 332, на котором микропроцессору 500 предписывается дополнительная обработка данных изображения представляющей интерес некритической области. Как описано выше, примерами некритических рабочих состояний являются наполнение рабочего инструмента 106, степень фрагментации, мониторинг изнашивания зубьев и т.д. Каждое из этих состояний может реализовываться в конкретных процессах, как описано ниже. Затем на шаге 334 микропроцессору 500 предписывается генерирование выходных сигналов, представляющих результаты обработки. Процесс 330 продолжается на шаге 336, на котором микропроцессору 500 предписывается побудить интерфейс 510 к передаче выходных сигналов обратно карьерному экскаватору 104.

Затем процесс 300 продолжается на шаге 318, на котором микропроцессору 200 предписывается принимать выходные сигналы от удаленного процессора 136. Затем на шаге 320 микропроцессору 200 предписывается представить результаты обработки данных в удаленном процессоре через электронный интерфейс пользователя, такой как дисплей 226 в кабине 132 карьерного экскаватора 104 или другое средство, такое как прикладная программа в каком-либо устройстве, таком как планшетный компьютер или смартфон. Отображаемые результаты обеспечивают обратную связь с оператором карьерного экскаватора 104, такую как, например, доля заполнения рабочего инструмента 106 полезным грузом, что может быть полезным для повышения эффективности операций выемки и погрузки, выполняемых оператором. Кроме того, результаты, относящиеся к скорости изнашивания зубьев, обеспечивают оператора информацией, которая может способствовать планированию простоя вследствие технического обслуживания. Например, если результаты показывают, что, по меньшей мере, некоторые из зубьев из ряда 108 зубьев вскоре нуждаются в замене, техническое обслуживание может быть запланировано на время перерыва в работе или пересмены.

Одним из преимуществ системы 100 мониторинга и реализованных процессов 300 и 330 является то, что обработка данных критических рабочих состояний выполняется локально встроенным процессором 102, который освобожден от излишней загрузки в связи с обработкой данных некритических рабочих состояний. Некоторые из стадий дополнительной обработки данных некритических рабочих состояний, такие как определение фрагментации полезного груза, могут требовать интенсивной работы процессора, и при их выполнении встроенным процессором 102 могут вызывать снижение производительности. Такое снижение производительности может приводить к задержке оповещения о критическом рабочем состоянии, когда желательно передавать такие оповещения без значительной задержки. Хотя встроенный процессор 102 может иметь ограничения по размеру и, соответственно, ограниченные вычислительные ресурсы, такие ограничения необязательно применимы к удаленному процессору 136, который может быть рассчитан на существенную нагрузку по обработке данных.

В других вариантах осуществления выходные сигналы, представляющие результаты дополнительной обработки, осуществленной удаленным процессором 136, могут передаваться другому процессору (не показанному) помимо встроенного процессора 102, установленного на карьерном экскаваторе 104. Например, на удалении от забоя 112 горной выработки может находиться центр оперативного управления, где осуществляется мониторинг всех работ на множестве забоев, которые ведутся соответствующими карьерными экскаваторами. Все некритические данные, такие как заполнение рабочего инструмента, фрагментация полезного груза и изнашивание зубьев, могут быть полезны для планирования горных работ. Например, у конкретного оператора карьерного экскаватора может наблюдаться низкое заполнение рабочего инструмента по сравнению с другими операторами, и для повышения эффективности работы может требоваться дополнительное обучение или корректирующее действие. Аналогичным образом, мониторинг изнашивания зубьев облегчает планирование технического обслуживания с наименьшим временем простоя экскаватора. Результаты фрагментации полезного груза обеспечивают показатель состояния извлекаемой руды для переработки на перерабатывающих предприятиях и обеспечивают информацию, которая может быть полезной для оптимального управления переработкой руды.

Представляющие интерес области изображений идентифицируются с использованием первой нейронной сети на шаге 304, как описано выше. Рассмотрим фиг.6, на которой схематически показана сверточная нейронная сеть, обозначенная позицией 600. Вариант осуществления нейронной сети, проиллюстрированный на фиг.6, является лишь одним из примеров сети, которая может быть сконфигурирована на генерирование выходных данных классификации пикселей на выходном уровне 634. На шаге 602 осуществляется представление захваченного изображения, которое содержит множество пикселей 604. В данном варианте осуществления изображение 602 может содержать значения интенсивности пикселей в представляющем интерес диапазоне волн, таком как диапазон инфракрасных волн, которые передают элементы теплового изображения рабочего инструмента. В других вариантах осуществления могут использоваться дополнительные наборы данных элементов изображения в различных диапазонах волн. В терминах нейронной сети каждый пиксель 604 действует как входной нейрон нейронной сети 600.

Нейронная сеть 600 также содержит сверточный слой 606, имеющий множество узлов или нейронов 604. В проиллюстрированном варианте осуществления пиксель 610 входного изображения 602 должен быть классифицирован, и это делается на основании участка 612 пикселей, окружающих пиксель 610. В проиллюстрированном варианте осуществления участок 612 имеет размер 11×11 пикселей. Однако размер участка обычно может соответствовать размерам элементов захваченного изображения. В некоторых вариантах осуществления размер участка может выбираться на основании оценки исходного размера участка 612.

В нейронной сети 600 каждый нейрон 608 в сверточном слое 606 связан с подмножеством входных нейронов на изображении 602 за счет формирования ядра 614 свертки. В этом варианте осуществления ядро 614 свертки имеет размер 3×3 пикселя и набор из 9 весовых коэффициентов W (616). Ядро 614 свертки центрировано по последовательным пикселям на участке 612 изображения 602, эффективно связывая соответствующий нейрон 608 в сверточном слое 606 с соответствующими подмножествами пикселей захваченного изображения 602. В случае, например, пикселя 610 ядро 614 свертки минует участок 612, и весовые коэффициенты 616 применяются к значениям яркости пикселей с целью получения для нейрона в сверточном слое 606 выходного сигнала, который соответствует входному пикселю 610. Ядро 614 свертки аналогичным образом связывает и обеспечивает выходные сигналы для других соответствующих нейронов 608 в сверточном слое 604. В этом варианте осуществления ядро 614 свертки применяет одинаковые весовые коэффициенты W к каждому подмножеству входных пикселей и тем самым становится чувствительным к тем же элементам входных пикселей при последующем определении весовых коэффициентов во время обучения нейронной сети 600.

В одном из вариантов осуществления поэлементная обработка может продолжаться с шагом, равным 1 или более. Обычно шаг может выбираться путем проверки выходных данных классификации пикселей и выбора шага на основании компромисса между временем обработки и эффективностью определения местонахождения изнашиваемой детали на изображении 602. Преимущество наличия одинаковых весовых коэффициентов 616 для ядра 614 свертки состоит в том, что последовательные участки 612 имеют большое перекрывание, и результаты свертки могут сохраняться и повторно использоваться для каждого последовательного участка, что значительно уменьшает число требуемых вычислений. Это приводит к значительному сокращению времени обработки как при обучении, так и впоследствии при проведении реальных оценок фрагментации с использованием обученной сети 600.

В других вариантах осуществления для выполнения свертки может использоваться разреженное ядро. Разреженное ядро построено путем вставки в ядро 614 свертки строк и столбцов нулевых значений. Разреженное ядро может иметь единственную строку и столбец нулевых значений, вставленных между каждым элементом, или несколько строк и столбцов нулевых значений, вставленных между элементами. У разреженного ядра есть преимущество перед обработкой с длиной шага более 1, в частности, когда обработка выполняется ГП 334 (показанным на фиг. 2), поскольку при этом по-прежнему выполняются операции с последовательными соседними пикселями из наборов входных пиксельных данных. Обработка посредством ГП очень эффективна в таких условиях, а при обработке с длиной шага более 1 требуется пропускать обработку некоторых входных пикселей, что значительно снижает эффективность использования возможностей обработки посредством ГП.

Нейронная сеть 600 также имеет слой 618 субдискретизации, содержащий множество нейронов 620 субдискретизации. Слой 618 субдискретизации объединяет выходные сигналы сверточного слоя 606 с целью уплотнения информации, чтобы нейронная сеть 600 была менее чувствительной к сдвигам и искажениям входных сигналов. В одном из вариантов осуществления применяется метод максимизирующей субдискретизации, в котором находят максимальное выходное значение в группе выходных сигналов из уровня 606 свертки и устанавливают максимальное выходное значение для выходного сигнала соответствующего нейрона 620 в слое 618 субдискретизации. Например, для выходного сигнала 622 в слое 618 субдискретизации может устанавливаться максимальное выходное значение четырех выходных нейронов 624 в слое 606 свертки. В качестве альтернативы, могут быть реализованы другие методы субдискретизации, такие как усредняющая субдискретизация, когда выходные сигналы в слое 606 свертки усредняются с целью получения выходного сигнала в слое 618 субдискретизации. В других вариантах осуществления может использоваться стохастическая субдискретизация, когда из группы выходных сигналов в слое 606 свертки выбирается произвольный выходной сигнал с целью получения выходного сигнала в слое 618 субдискретизации.

Преимуществом слоев 606 свертки и 618 субдискретизации является их эффективность в вычислительном отношении, но они обеспечивают неточный результат прогнозирования области в слое 618 субдискретизации, что не способствует поэлементному прогнозированию для каждого пикселя 604 исходного изображения 602. В проиллюстрированном варианте осуществления за слоем 618 субдискретизации следует процесс повышающей дискретизации, который снова соотносит неточные выходные сигналы в слое 618 субдискретизации с исходными пикселями 604 изображения 602. В этом варианте осуществления процесс повышающей дискретизации реализован с использованием фильтра 626 с обращением свертки (аналогичного ядру 614 свертки) с целью генерирования слоя 628 обращения свертки, в котором фильтр с обращением свертки действует по существу в обратном направлении по сравнению с ядром 614 свертки. В случае, например фильтра 626 с обращением свертки 3×3 используется единственный выходной сигнал 622 слоя 618 субдискретизации и генерируется 9 выходных сигналов в соответствии с весовыми коэффициентами W. Весовые коэффициенты W фильтра 626 с обращением свертки необязательно должны быть фиксированными и могут определяться путем обучения, как описано далее.

Аналогично процессу субдискретизации с созданием уровня 618 субдискретизации, на шаге 630 также может быть реализован последующий процесс повышающей дискретизации с целью преобразования слоя 628 обращения свертки в поэлементные выходные сигналы, количество которых равно количеству пикселей 604 изображения 602.

В этом варианте осуществления нейронная сеть 600 содержит полностью связанный уровень 632, который принимает выходные сигналы от соответствующих нейронов 620 в слое 618 субдискретизации. Каждый нейрон в полностью связанном слое 632 имеет соответствующий весовой коэффициент w_i. В других вариантах осуществления могут существовать несколько полностью связанных слоев.

Нейронная сеть 600 дополнительно содержит выходной слой 634 с множеством нейронов, которые создают вероятности p_j того, что пиксель 610 на участке 612 соответствует конкретной представляющей интерес области. Каждая из вероятностей p_j в нейронах выходного слоя 634 представляет вероятность того, что пиксель 610 соответствует конкретной представляющей интерес области. Например, p₁ может представлять вероятность того, что пиксель 610 соответствует одному из зубьев из ряда 108 зубьев, р₂ может представлять вероятность того, что пиксель 610 соответствует полезному грузу в рабочем инструменте 106, а р₃ - вероятность того, что пиксель 610 соответствует подъемному тросу 124. Путем генерирования вероятностей p₁, р₂ и т.д. для каждого из пикселей 604 изображения 602 может быть получена вероятностная диаграмма для каждой представляющей интерес области. На фиг. 7 показано изображение 700 рабочего инструмента 106, ряда 108 зубьев и подъемного троса 124 в качестве одного из примеров изображения 602 для ввода в нейронную сеть 600. Путем обработки посредством нейронной сети 600 с целью генерирования вероятностей р₁ связанных с пикселями изображения 700 области, содержащей зубья, получают вероятностную диаграмму 702, на которой более пикселям с меньшим весовым коэффициентом в области 704 присвоена более высокая вероятность того, что они соответствуют ряду 108 зубьев рабочего инструмента 106.

Сеть 600 обычно первоначально сконфигурирована на установление весовых коэффициентов w₁ для некоторого исходного значения, такого как, например, случайное число от 0 до 1. Затем нейронная сеть 600 обучается с использованием обучающих изображений, которые были изучены и маркированы. На фиг.7 показан один из примеров маркированного обучающего изображения, обозначенный позицией 706. Маркированное обучающее изображение 706 может генерироваться оператором, анализирующим изображение, с целью идентификации представляющей интерес области зуба, которая затем маркируется ограничивающим прямоугольником 708 и сохраняется вместе с маркировочной информацией в качестве маркированного обучающего изображения. Во время обучения нейронной сети 600 вероятностная диаграмма 702, созданная нейронной сетью 600, сравнивается с маркированным обучающим изображением 706, и для каждого пикселя вычисляются ошибки и вводятся обратно в нейронную сеть с целью корректировки весовых коэффициентов w_i. Когда для весовых коэффициентов w_i изначально установлено их исходное значение, нейронная сеть 600 будет создавать вероятностную диаграмму 702, которая имеет слабую корреляцию с маркированным обучающим изображением 706. Для каждого из множества маркированных обучающих изображений, используемых в качестве данных для ввода в нейронную сеть 600, оценивается функция затрат, которая выражает различия между вероятностной диаграммой 702 и маркированным обучающим изображением 706. Затем применяется алгоритм минимизации, такой как пакетный стохастический алгоритм минимизации градиентного спуска, с целью определения новых значений для весовых коэффициентов w_i. Это обычно включает определение градиента функции затрат с использованием алгоритма обратного распространения с целью корректировки весовых коэффициентов w, до тех пор, пока генерированная вероятностная диаграмма 702 не будет иметь большее сходство с маркированным обучающим изображением 706. Обычно желательно иметь достаточное число маркированных обучающих изображений рабочих инструментов и изнашиваемых деталей различных типов при различных условиях освещения и т.п.и в различных масштабах. Для проверки достоверности сеть 600 с целью оценки эффективности обучения может использоваться дополнительный набор маркированных изображений. После обучения нейронная сеть 600 конфигурируется на идентификацию представляющих интерес областей входных изображений, таких как изображение 602, в разнообразных условиях, обеспечиваемых маркированными обучающими изображениями.

В одном из вариантов осуществления первая нейронная сеть обучается идентифицировать представляющие интерес области, как описано выше, после чего следует проверка достоверности сети 600 с использованием дополнительного набора маркированных изображений с целью оценки эффективности обучения. Затем удаляется или отсекается множество нейронов. В одном из вариантов осуществления могут удаляться нейроны 632 с весовым коэффициентом w_i ниже порога отсечения с целью получения усеченной нейронной сети, содержащей второе множество взаимосвязанных нейронов. Затем повторно оценивают производительность усеченной нейронной сети 600 с использованием дополнительного набора маркированных изображений. Оценка производительности нейронной сети и повторная оценка производительности усеченной нейронной сети основаны на вычисления функции затрат с учетом повышенной скорости обработки усеченной нейронной сети при создании вероятностной диаграммы 702 и сниженной точности получения маркированного результата с использованием ранее маркированных обучающих изображений. Затем процесс может повторяться, при этом отсечение дополнительных нейронов оказывает приемлемое влияние на производительность нейронной сети. В качестве примера, если после усечения нейронной сети 600 время обработки сокращается на 10%, но погрешность вероятностной диаграммой 702 относительно маркированного обучающего изображения 706 увеличивается всего на 1%, процесс усечения может продолжаться путем дальнейшего снижения порога усечения. Однако, если процесс усечения привел к сокращению времени обработки на 10% при увеличения погрешности на 20%, конфигурация сети может восстанавливаться до непосредственно предшествующего состояния. После процесса усечения усеченная сеть 600 с уменьшенным числом нейронов затем используется для реализации первой нейронной сети во встроенном процессоре 102. Таким образом, процесс усечения гарантирует, что нейронная сеть 600 конфигурируется на обеспечение близкой к оптимальной производительности обработки.

На фиг. 8 проиллюстрирован один из примеров реализации шага 304 процесса 300, который обозначен позицией 800. Как показано на фиг. 8, процесс начинается на шаге 802, на котором микропроцессору 200 встроенного процессора 102 предписывается создание, в целом, как описано выше, вероятностной диаграммы с указанием вероятности для каждого пикселя изображения конкретной представляющей интерес области. Затем на шаге 804 микропроцессору 200 предписывается считывание эталона, соответствующего представляющей интерес области. Эталоны различных представляющих интерес областей могут храниться в памяти 202 или запоминающем устройстве 208 большой емкости для выполнения последующего процесса сопоставления с эталоном. Эталон содержит информацию, основанную на физической протяженности и форме объекта в представляющей интерес области. В случае, например, ряда 108 зубьев на фиг. 7 эталонная информация может занимать прямоугольный блок, соответствующий ограничивающему блоку 708 на маркированном обучающем изображении 706. В качестве другого примера, если представляющей интерес областью является один зуб из ряда 108 зубьев, эталон может иметь, в целом, такой же размер, как и один зуб на вероятностной диаграмме 702, и может иметь в целом трапециевидную форму. Таким образом, эталон определяет общую форму и физическую протяженность представляющей интерес области. В некоторых вариантах осуществления, когда масштаб изображения различается в зависимости от положения рабочего инструмента 106 относительно датчика 128 изображений, масштаб эталона может изменяться с целью учета различий в масштабе изображения.

Затем на шаге 806 микропроцессору 200 предписывается выбор первой группы вероятностей пикселей на вероятностной диаграмме 702. Как показано на фиг. 7, эталон 710, соответствующий ряду 108 зубьев, помещен поверх вероятностной диаграммы 702 с целью выбора первой группы вероятностей пикселей на вероятностной диаграмме. Затем на шаге 808 микропроцессору 200 предписывается установление корреляции между эталоном и выбранными вероятностями пикселей. В одном из вариантов осуществления значения выбранных вероятностей пикселей могут суммироваться с целью генерирования общего значения корреляции для выбранных вероятностей пикселей.

Затем процесс продолжается на шаге 810, на котором микропроцессору 200 предписывается определить, является ли значение корреляции до сих пор максимумом для эталона. Если значение корреляции является максимальным, микропроцессор 200 переходит к шагу 812, на котором микропроцессору 200 предписывается сохранить текущий выбор вероятности пикселя в качестве представляющей интерес области для вероятностной диаграммы 702. Затем микропроцессор 200 переходит к шагу 814. Если на шаге 810 установлено, что значение корреляции не является максимальным, микропроцессор 200 переходит к шагу 814.

Затем на шаге 814 микропроцессору 200 предписывается определить, остаются ли на вероятностной диаграмме 702 дополнительные группы вероятностей пикселей, которые должны быть оценены. Если такие дополнительные группы вероятностей пикселей остаются, микропроцессор 200 переходит к шагу 816, на котором микропроцессору предписывается выбрать следующую группу вероятностей пикселей. В варианте осуществления, проиллюстрированном на фиг. 7, эталон 710 может сдвигаться на один или несколько пикселей из первой группы вероятностей пикселей с целью выбора следующей группы вероятностей пикселей, в результате чего эталон последовательно перемещается через вероятностную диаграмму 702. Затем шаги 808-814 повторяются, как описано выше, в отношении следующей группы вероятностей пикселей.

После того, как на шаге 814 все группы вероятностей пикселей на вероятностной диаграмме 702 оценены с точки зрения корреляции, область, выбранная на шаге 812, будет являться выбранной представляющей интерес областью для вероятностной диаграммы, и микропроцессор переходит к шагу 818. На шаге 818 микропроцессору 200 предписывается определить, удовлетворяет ли выбранная представляющая интерес область критерию корреляции. В некоторых случаях, хотя представляющая интерес область, выбранная на шаге 812, имеет наивысшее значение корреляции, корреляция может являться слабой, и, таким образом, область не должна указываться как представляющая интерес область. В одном из вариантов осуществления на шаге 818 микропроцессору 200 предписывается определить, удовлетворяет ли значение корреляции для области минимальному пороговому значению, и в этом случае микропроцессор переходит к шагу 820. На шаге 820 микропроцессору 200 предписывается обозначить область как представляющую интерес область, соответствующую эталону (в данном случае ряда 108 зубьев). Затем микропроцессор 200 переходит к шагу 822, на котором процесс 800 заканчивается. Если на шаге 818 установлено, что значение корреляции не удовлетворяет критерию, микропроцессор 200 переходит к шагу 822, на котором процесс заканчивается без указания представляющей интерес области, соответствующей эталону.

Процесс 800 может последовательно выполняться для множества вероятностных диаграмм, соответствующих различным представляющим интерес областям, каждая из которых также имеет соответствующий эталон. Таким образом, на одном изображение может быть обозначено несколько представляющих интерес областей. Примеры идентифицированных представляющих интерес областей на вероятностной диаграмме загруженного рабочего инструмента 106 показаны на фиг.9. На вероятностной диаграмме различные представляющие интерес области показаны затененными, а области 906, 908 и 910 заштрихованы в целях иллюстрации. На шаге 900 подъемные тросы, на шаге 902 блоки и на шаге 904 область корпуса рабочего инструмента идентифицируются как представляющие интерес области. На этой вероятностной диаграмме рабочий инструмент 106 загружен полезным грузом, представляющим собой главным образом мелкозернистый материал, обозначенный как область 906, но с одним крупным куском поверх мелочи, идентифицированным как область 908. Зубья идентифицируются как область 910, частично перекрытая областью 906. В одном из вариантов осуществления область 910 и область 908 обозначены как критические области, а область 906 обозначена как некритическая область. Например, обнаружения области 908 в рабочем инструменте 106 может быть достаточно для предупреждения оператора, поскольку нейронная сеть 600 обучена идентифицировать смежные части материала, превышающие определенный размер, как области крупных кусков. В случае области 910 обычно требуется дополнительная обработка, как описано далее. Области 904 корпус, 902 блока и 900 подъемного троса могут не подвергаться дополнительной обработке или могут быть обрабатываться с целью для определения их структурной целостности.

На фиг. 9В проиллюстрированы примеры крупных кусков в полезном грузе рабочего инструмента карьерного экскаватора, обозначенные позициями 920 и 922. Аналогичным образом, на фиг. 9В проиллюстрирован пример гидравлического одноковшового экскаватора с прямой лопатой, обозначенного позицией 924.

В некоторых вариантах осуществления на последовательных изображениях, принимаемых от датчика 128 изображений, могут появляться одни и те же обозначенные представляющие интерес области. Рассмотрим на фиг.10, на которой проиллюстрирован процесс 1000 отслеживания обозначенных областей на изображениях. Процесс начинается на шаге 1002, на котором микропроцессору 200 встроенного процессора 102 предписывается прием первого изображения от датчика 128 изображений. Затем на шаге 1004 микропроцессору 200 предписывается идентифицировать и обозначить, по меньшей мере, одну представляющую интерес область изображении, в целом, как описано выше применительно к процессу 800, проиллюстрированному на фиг.8. Затем на шаге 1006 микропроцессору предписывается прием следующего изображения от датчика 128 изображений, а на шаге 1008 микропроцессору предписывается обработки изображения, как на шаге 1004. Процесс затем продолжается на шаге 1010, на котором микропроцессору 200 предписывается определить, является ли движение обозначенной области на изображениях последовательным. В одном из вариантов осуществления движение каждой обозначенной представляющей интерес области может рассчитываться посредством реализованного в микропроцессоре 200 фильтра Калмана, который прогнозирует местоположение обозначенной области на последовательных изображениях. Если на шаге 1010 микропроцессором 200 установлено, что прогнозированное местоположение находится вблизи ожидаемого ряда положений на изображении, микропроцессор переходит к шагу 1012, а обозначенная область относится к соответствующей траектории и сохраняется в памяти 202 встроенного микропроцессора 200. Однако, если на шаге 1010 микропроцессором 200 установлено, что прогнозированное местоположение находится вне ожидаемого ряда положений на изображении, микропроцессор переходит к шагу 1014, на котором микропроцессору предписывается не относить эту область к траектории. Обычно, траектории, которые содержат последовательно отнесенные представляющие интерес области, считаются надежными, и им может отдаваться предпочтение перед другими траекториями при обработке с целью извлечения информации о критическом или некритическом рабочем состоянии.

В некоторых вариантах осуществления на подвижном элементе (например, напорном механизме 122 карьерного экскаватора 104, показанного на фиг. 1А) могут размещаться датчики движения, такие как инерционный датчик, для подачи сигналов, которые могут использоваться для определения текущего рабочего состояния карьерного экскаватора. Например, возвратно-поступательное движение напорного механизма 122 может указывать на активную нагрузку, что тем самым повышает вероятность повреждения зубьев. Аналогичным образом, датчики на напорном механизме 122 могут указывать, находятся ли рабочий инструмент 106 и напорный механизм в движении или в статическом положении.

Обнаружение отсутствия зубьев

Как описано выше, ряд 108 зубьев рабочего инструмента 106 может идентифицироваться и обозначаться как критическая область, применимая для извлечения данных состояния отсутствия зубьев. Обычно рабочий инструмент может содержать одну или несколько изнашиваемых деталей, которые, как ожидается, изнашиваются во время эксплуатации и требуют возможной замены. В случае рабочего инструмента 106 ряд 108 зубьев содержит множество изнашиваемых компонентов или отдельных зубьев.

Рассмотрим фиг. 11, на которой позицией 1100 в целом обозначен процесс обнаружения отсутствия зубьев, реализованный во встроенном процессоре 102. Процесс начинается на шаге 1102, на котором микропроцессору 200 предписывается определить, была ли идентифицирована область, обозначенная как соответствующая ряду 108 зубьев рабочего инструмента 106, после выполнения процесса 800, проиллюстрированного на фиг. 8. Если область ряда зубьев не была идентифицирована, микропроцессору 200 предписывается повторное выполнение шага 1102. В некоторых условиях, например, когда рабочий инструмент 106 активно осуществляет выемку забоя 112, ряд 108 зубьев может быть скрыта, и, соответственно, область ряда зубьев не будет идентифицирована. Аналогичным образом, ряд 108 зубьев может быть частично или полностью скрыта полезным грузом 110. Вид ряда 108 зубьев может быть отчетливым и наиболее применимым для обнаружения отсутствия зубьев в течение части рабочего цикла между выгрузкой полезного груза 110 в автомобиль-тягач 140 и началом выемки руды.

Если на шаге 1102 идентифицирована ряд 108 зубьев, микропроцессор 200 переходит к шагу 1104. На шаге 1104 микропроцессору 200 предписывается обработка данных изображения идентифицированной представляющей интерес области с использованием второй нейронной сети с целью идентификации отдельных зубьев из ряда 108 зубьев. Вторая нейронная сеть может иметь сходную конфигурацию с нейронной сетью 600, показанной на фиг.6, но обучена посредством маркированных обучающих изображений отдельных зубьев с целью идентификации отдельных зубьев из ряда 108 зубьев. Вторая нейронная сеть создает вероятностную диаграмму, пример которой обозначен позицией 1200 на фиг. 12. Представляющая интерес область 1202 ряда зубьев показана окруженной ограничивающим прямоугольником 1202, созданным путем выполнения описанного выше процесса 800, а отдельные зубья являются более светлыми, что говорит о более высокой вероятности того, что они соответствуют отдельным зубьям из ряда 108 зубьев.

Затем на шаге 1106 микропроцессору 200 предписывается выполнение дополнительного процесса сравнения с эталоном, как описано выше в связи применительно к процессу 800, проиллюстрированному на фиг. 8, в данном случае с использованием эталона, соответствующего изнашиваемому компоненту (т.е. отдельному зубу). Как описано выше, эталон может иметь в целом трапециевидную форму, соответствующую форме и размеру зуба.

На шаге 1108 микропроцессору 200 предписывается определить местоположение отслеживаемого элемента на каждом зубе. В данном варианте осуществления отслеживаемым элементом выбираются соответствующие вершины 1204 зубьев, обозначенные точками на фиг. 12. В одном из вариантов осуществления вершина зуба определяется путем выбора пикселей из данных изображения, которые согласуются с эталоном зуба выше определенного порогового значения. Среди выбранных пикселей отбрасываются скопления пикселей, размер (т.е. число пикселей) которых является меньшим, чем пороговый размера. Получают ограничивающий контур для остающихся скоплений пикселей, такой как обозначен линией 1212 для зуба "4" на фиг. 12. Затем выбирают вершину зуба из точек в ограничивающем контуре с учетом угла каждого зуба из ряда зубьев.

Затем на шаге 1110 микропроцессору 200 предписывается выполнение ряда проверок на непротиворечивость, чтобы определить, были ли правильно идентифицированы зубья. Микропроцессору 200 предписывается определить, расположены ли идентифицированные зубья на равном расстоянии друг от друга, и соответствуют ли они фактическому числу зубьев на рабочем инструменте 106. Кроме того, на шаге 1110 микропроцессору 200 предписывается определить, расположены ли соответствующие вершины 1204 зубьев по линии, которая обозначенная пунктирной линией 1206 на фиг. 12 и имеет кривизну, в целом совпадающую с физической кривизной зубьев рабочего инструмента 106. Любые отдельные идентифицированные зубы, которые не подпадают под набор критериев, основанных на физической конфигурации рабочего инструмента 106, не обозначаются как часть ряда 108 зубьев.

Затем процесс 1100 продолжается на шаге 1112, на котором микропроцессору 200 предписывается определить местоположение эталонного зуба в ряде 108 зубьев. В данном варианте осуществления в качестве эталонного зуба выбран центральный зуб 1208 (обозначенный как зуб "5"). Остальным зубьям затем присваиваются номера 1-4 и 6-9 относительно эталонного зуба 1208. В одном из вариантов осуществления эталонный зуб 1208 может отслеживаться в соответствии с процессом 1000, проиллюстрированным на фиг.10, чтобы определить, выглядит ли ряд 108 зубьев непротиворечиво на последовательных изображениях.

Затем на шаге 1114 микропроцессору 200 предписывается сравнить местоположение вершины каждого зуба с местоположением вершин зубьев, ранее сохраненным в памяти 202. Во время перемещения рабочего инструмента 106 ряд 108 зубьев должна следовать в основном по гладкой траектории. На фиг. 12 показаны ранее сохраненные местоположения вершин зубьев, обозначенные позицией 1210. В одном из вариантов осуществления на шаге 1114 микропроцессору 200 предписывается вычислить расстояние d_i между предыдущим положением вершины зуба и текущим местоположением вершины зуба для каждого зуба, где i означает присвоенный зубу номер. Расстояния d_i используются микропроцессором 200, чтобы определить, насколько долго обнаруженные текущие местоположения вершин зубьев сравниваются с предыдущими местоположениями вершин зубьев. Затем на шаге 1116 микропроцессору 200 предписывается определить, являются ли расстояния di меньшими, чем порог отсутствия зубьев, и в этом случае информация, соответствующая каждым зубом, может использоваться для обновления информации, сохраненной в памяти 202. Затем микропроцессор 200 переходит к шагу 1120, на котором выбирается следующее изображение для обработки.

Если на шаге 1116 установлено, что расстояние d_i превышает порог отсутствия зубьев, микропроцессор 200 переходит к шагу 1118. На шаге 1118 микропроцессору 200 предписывается инициировать предупреждение об отсутствии зуба

В одном из вариантов осуществления, чтобы уменьшить возможность инициирования ложного предупреждения, вычисления длины зубьев на основании нескольких последовательных кадров для части рабочего цикла рабочего инструмента 106 могут анализироваться на шаге 1114 до принятия решения относительно того, отклоняется d_i вершины зуба от ожидаемого местоположения. Обычно рабочий цикл карьерного экскаватора 104 может рассматриваться как последовательность движений, которые повторяются при загрузке автомобиля-тягача 140. Например, рабочий цикл может включать выемку руды из забоя 112 с целью заполнения рабочего инструмента 106 полезным грузом 110, подъем полезного груза, поворот корпуса 114 вокруг гусеничных направляющих 116, выдвижение рабочего орудия относительно опорного блока 120 с целью размещения рабочего инструмента над автомобилем-тягачом 140 и выгрузку полезного груза в автомобиль-тягач. Часть рабочего цикла может соответствовать времени, когда рабочий инструмент 106 не перемещает полезный груз 110 или не осуществляет его выемку. В некоторых вариантах осуществления может рассчитываться уровень достоверности на основании числа кадров, в пределах которых происходит отклонение d_i. Например, разовое отклонение d_i может первоначально игнорироваться, но несколько последовательных отклонений d_i повышают уровень достоверности, когда на шаге 1116 определяется, что должно быть инициировано предупреждение.

На фиг. 12В проиллюстрированы примеры выходных данных, получаемых в результате осуществления процесса 1100 и отображаемых на дисплее 226. Выходные данные 1220 и 1222 получают с использованием системы 100 мониторинга, реализованной с использованием чувствительных к волнам видимой области спектра датчиков изображений, при этом в каждом случае отсутствующий зуб обозначен цветом или оттенком, отличающимся от обозначения зубьев на схематических представлениях 1226 и 1228. Выходные данные 1224 получают с использованием системы мониторинга 100, реализованной с использованием чувствительного к волнам инфракрасной области спектра датчика изображений. Термическое формирование изображений обеспечивает контраст между горячим рядом зубьев и более холодными окружающими областями фона.

В данном варианте осуществления обнаружение отсутствия зубьев считается критически важной функцией и выполняется встроенным процессором 102 на борту карьерного экскаватора 104.

Мониторинг изнашивания зубьев

На шаге 304 процесса 300, реализованного во встроенном процессоре 102, изображения обрабатываются с целью идентификации изображений области признака четкого изнашивания, которые будут способствовать мониторингу изнашивания зубьев. Обычно достаточно выбрать только одно изображение для каждого рабочего цикла карьерного экскаватора 104 для передачи удаленному процессору, поскольку предполагается, что изнашивание зубьев происходит на протяжении значительно большего периода времени, чем рабочий цикл карьерного экскаватора. В других вариантах осуществления удаленному процессору 136 для дополнительной обработки передается наилучшее изображение за определенный период времени, например, за 5 минут, имеющее наиболее четкие идентифицированные признаки изнашивания. Поскольку в этом варианте осуществления область ряда зубьев считается некритической областью с точки зрения мониторинга изнашивания, встроенный процессор 102 выполняет только исходную идентификацию и обозначение представляющей интерес области, а затем передает данные изображения удаленному процессору 136 для дополнительной обработки.

Рассмотрим фиг. 13, на которой проиллюстрирован пример обозначенной позицией 1300 опорной конструкции для ряда 108 зубьев. Зубья опираются на литую кромку 1302, имеющую монтажные петли 1304 и 1306. Литая кромка 1302 имеет выступы 1308, в которые входит состоящий из двух частей съемный зуб 1310, имеющий головку 1312 и вершину 1314. Конструкция 1300 также содержит съемную межзубьевую защиту 1316, защищающую остальные части литой кромки от изнашивания. Головка 1312, вершина 1314 и межзубьевая защита 1316 представляют собой изнашиваемые детали, которые могут заменяться. Конструкция 1300, поддерживающая ряд 108 зубьев, содержит признаки изнашивания, которые включают части рабочего инструмента, которые изнашиваются с меньшей скоростью, чем зубья во время работы рабочего инструмента 106 карьерного экскаватора 104, такие как межзубьевая защита, монтажные петли и литая кромка. Признаки изнашивания служат ориентирами для преобразования поэлементных измерений в реальные размеры, такие как длина зубьев. Известные размеры, связанные с признаками изнашивания, позволяют проводить сравнение измерений, выполненных на основании данных изображения, среди изображений, имеющих различный масштаб и/или ракурс.

На фиг. 14 проиллюстрирован процесс мониторинга изнашивания зубов в удаленном процессоре 136, в целом обозначенный позицией 1400. Как показано на фиг. 14, процесс начинается на шаге 1402, на котором микропроцессору 500 удаленного процессора 136 предписывается обработка изображений с использованием нейронной сети (такой как обозначена позицией 600).

Нейронная сеть может быть обучена использовать множество маркированных обучающих изображений пустого рабочего инструмента 106 с целью идентификации частей опорной конструкции 1300 для ряда зубьев, служащих признаками для определения изнашивания зубьев. Признаки изнашивания могут включать части рабочего инструмента, которые изнашиваются с меньшей скоростью, чем зубья во время работы рабочего инструмента 106 карьерного экскаватора 104, такие как межзубьевая защита, монтажные петли и литая кромка. На фиг. 15 проиллюстрирован пример маркированного обучающего изображения, обозначенный позицией 1500, включая идентификацию признаков изнашивания. Признаки изнашивания указаны последовательно для каждого зуба и включают набор 1502 линий, соответствующих соответствующим вершинам зубьев (1315 на фиг. 13), набор 1504 линий, соответствующих межзубьевой защите 1316, набор 1506 линий, соответствующих монтажным петлям 1304 и 1306, набор 1508 линий, соответствующих литой кромке, и набор 1510 линий, указывающих разграничение между литой кромкой 1302 и остальной частью ковша (не показанного на фиг. 14) рабочего инструмента 106.

На шаге 1402 процесса 1400 микропроцессору 500 предписывается последовательно идентифицировать признаки изнашивания каждого зуба с использованием обученной нейронной сети. Для каждого зуба должно поддаваться идентификации, по меньшей мере, подмножество признаков изнашивания. Затем процесс 1400 продолжается на шаге 1404, на котором микропроцессору 500 предписывается определить, было ли идентифицировано нейронной сетью достаточно признаков изнашивания, чтобы облегчить определение состояния изнашивания (т.е. длину каждого из зубьев) с целью мониторинга изнашивания. Если было идентифицировано недостаточно признаков изнашивания, микропроцессор 500 переходит к шагу 1406, и обрабатывается следующее изображение, имеющее представляющую интерес область четкого изнашивания.

Если на шаге 1404 идентифицировано достаточно признаков изнашивания, микропроцессор 500 переходит к шагу 1408. На шаге 1408 микропроцессору 500 предписывается сравнить идентифицированные признаки изнашивания с набором признаков изнашивания на четком эталонном изображении, в котором вручную идентифицированы признаки изнашивания для каждого зуба, и измерена и масштабирована длина зубьев от каждого признака изнашивания в соответствии с известными измерениями рабочего инструмента 106. В одном из вариантов осуществления на шаге 1408 микропроцессору 500 также предписывается вычислить уровень достоверности измерений длины зубьев на основании числа обнаруженных признаков изнашивания для каждого зуба.

Результаты измерения длины зубьев удаленным процессором 136 могут затем передаваться обратно карьерному экскаватору 104 для отображения на дисплее 226, связанном со встроенным процессором 102. В качестве альтернативы или дополнительно, результаты измерения длины зубьев могут передаться центру оперативного управления на удалении от забоя 112, где информация служит входными данными для планирования технического обслуживания. Путем дополнительной обработки, выполняемой удаленным процессором 136, может дополнительно определяться скорость изнашивания зубьев, картина изнашивания, указывающая, изнашиваются ли некоторые зубья быстрее, чем другие, и расчетный срок службы каждого из множества зубьев на основании текущего использования.

В этом варианте осуществления мониторинг изнашивания зубьев считается имеющим более низкий приоритет, чем обнаружение отсутствия зубьев, поскольку изнашивание обычно происходит в течение более длительного периода времени. Таким образом, встроенный процессор 102 большей частью освобожден от излишней загрузки в связи функциями мониторинга изнашивания зубьев, и критически важные задачи могут иметь более высокий приоритет при обработке данных встроенным процессором. В других вариантах осуществления, в которых возможность установления связи с удаленным процессором 136 (например, системой вычислений в облаке) может являться достаточно надежной, даже некоторые критически важные функции могут выполняться удаленным процессором 136, когда требуется доступ к более мощным вычислительным ресурсам.

Фрагментация

Руду, вынутую в процессе добычи, обычно транспортируют до участка переработки, на котором ее измельчают, просеивают и подвергают иной переработке. В результате эффективных взрывных работ, если они применяются, происходит фрагментация руды, и надлежащий анализ фрагментации способен помогать организаторам горных работ в оптимизации результатов взрывных работ с целью обеспечения значительной экономии времени и затрат. Избыточное применение взрывных работ приводит к чрезмерному потреблению энергии и увеличивает расходы на взрывчатые вещества, а недостаточное применение взрывных работ приводит к фрагментации руды на крупные куски, которые перегружают расположенное ниже по потоку оборудование и сокращают срок его службы. В некоторых вариантах осуществления переработка ниже по потоку может оптимизироваться в зависимости от степени фрагментации извлекаемой руды. Анализ фрагментации с использованием нейронной сети описан в заявке WO 2017/100903 под названием "METHOD AND APPARATUS FOR IDENTIFYING FRAGMENTED PORTIONS WITHIN AN IMAGE", поданной 13 декабря 2016 года и в порядке ссылки включенной в настоящую заявку. Анализ фрагментации требует большого объема вычислений и довольно значительных ресурсов. Поскольку встроенный процессор 102 может иметь ограниченные вычислительные возможности, анализ фрагментации с использованием микропроцессора 200 может снижать эффективность критически важных операций обработки, таких как обнаружение отсутствия зубьев. В раскрытых вариантах осуществления дополнительная обработка с целью определения фрагментации полезного груза 110 в рабочем инструменте 106 выполняется удаленным процессором 136 с использованием изображений, передаваемых удаленному процессору встроенным процессором 102 на шаге 316 процесса 300.

На фиг. 16 проиллюстрирован реализованный во встроенном процессоре 102 процесс 1600 обозначения изображений как применимых для анализа фрагментации. Как показано на фиг. 16, процесс начинается на шаге 1602, на котором микропроцессору 200 предписывается идентифицировать изображения, на которых, по меньшей мере, частично виден ряд 108 зубьев. На фиг. 17 проиллюстрирован один из примеров применимого изображения 1700, на котором полезный груз 110 фрагментированной руды загружен в ковш рабочего инструмента 106. Фоновая руда 1704 также может являться частично фрагментированной и с трудом отличимой от полезного груза 110. В одном из вариантов осуществления для идентификации этих изображений может использоваться нейронная сеть 600 в целом в соответствии с процессом 800, проиллюстрированным на фиг. 8.

Затем на шаге 1604 микропроцессору 200 предписывается обработать последовательные изображения, изначально идентифицированные как применимые для анализа фрагментации с использованием алгоритма оценки оптического потока с целью отделения полезного груза 110, который будет в целом статичным на изображениях в отличие от фона 1704, который будет перемещаться относительно полезного груза. Разработаны различные алгоритмы оценки оптического потока с целью сегментирования данных изображения на основании последовательностей обработки изображений для обнаружения статических и движущихся элементов. На фиг. 17, проиллюстрирован один из примеров алгоритма 1710 оценки оптического потока, где по большей части черные области 1712 являются статическим полезным грузом 110 и другими частями рабочего инструмента 106, а белые области 1714 являются фоном 1704.

Затем на шаге 1606 микропроцессору 200 предписывается дополнительно обработать изображения с целью выбора изображений, обладающих необходимой четкостью для успешного анализа фрагментации. Шаг 1606 может быть реализован с использованием нейронной сети, которая обучена определять, представляют ли статические области, идентифицированные на шаге 1604, полезный груз, имеют ли они достаточное освещение, не затенены ли они частями карьерного экскаватора 104, и не содержат ли они поверхностного слоя пыли, покрывающей полезный груз. В одном из вариантов осуществления нейронная сеть, такая как сеть 600, может быть обучена идентифицировать и классифицировать представляющие интерес области изображений как применимые для анализа фрагментации (ковш, заполненный полезным грузом 110), для мониторинга изнашивания зубьев (пустой ковш) или как часть фона. Изображения, на которых ковш заполнен полезным грузом 110, но полезный груз частично скрыт, плохо освещен или иначе скрыт, могут классифицироваться как неприменимые для анализа фрагментации.

Затем на шаге 1608 микропроцессору 200 предписывается установить границы полезного груза в рабочем инструменте 106. На шаге 1604 алгоритм оценки оптического потока не сможет отделить части рабочего инструмента 106 от полезного груза 110, поскольку в обоих случаях они будут идентифицированы как статические по отношению к фону 1704. Шаг 1608 может быть реализован как дополнительная нейронная сеть, которая обучена на маркированных обучающих изображениях отделять полезный груз 110 от структуры рабочего инструмента 106, такого как корпус и/или зубья, в результате чего эти элементы не учитываются при последующем анализе фрагментации. На шаге 1608 микропроцессором 200 также предписывается выбрать наилучшее изображения в пределах временного кадра рабочего цикла карьерного экскаватора 104 (например, наилучшее изображение в течение последних 5 минут). Затем выбранное изображение передается удаленному процессору 136 на шаге 316 процесса 300. Удаленный процессор 136 выполняет анализ фрагментации и генерирует результаты фрагментации, такие как графики распределения руды по размерам и статистические данные градации размеров, которые передаются обратно встроенному процессору 102 или другому процессору, как описано выше.

Анализ фрагментации может требовать интенсивной работы процессора и преимуществом его выполнения удаленным процессором 136 является освобождение встроенного процессора 102 от излишней загрузки, чтобы позволить ему отдавать приоритет критических важным задачам, таким как обнаружение отсутствия зубьев. Процент заполнения ковша

Время, требуемое оператору для завершения полного рабочего цикла карьерного экскаватора 104 выемки руды и загрузки полезного груза 110, определяет эффективность загрузки карьерного экскаватора. Среднее время рабочего цикла для гидравлического экскаватора может составлять около 30 секунд, 25% которого может приходиться на раскачивание пустого рабочего инструмента, 41% на заполнение рабочего инструмента, 24% на поворот заполненного рабочего инструмента и 10% на сброс полезной нагрузки в автомобиль-тягач 140. Например, если 50-тонный ковш рабочего инструмента 106 не заполнен в каждом цикле, помимо обычных 4 циклов, необходимых для заполнения 200-тонного автомобиля, может потребоваться дополнительный рабочий цикл. Если, однако, достижение коэффициента заполнения, близкого к 100%, приводит к увеличению времени рабочего цикла, исключение дополнительного цикла может быть сведено на нет. Процент заполнения ковша может зависеть от размера частиц, навыков оператора, эффективности взрывания, уплотнения, создаваемого ковшом при выемке руды, и свойств руды. Представление процента заполнения ковша оператору и/или другому персоналу может являться ценным в случае, когда операторы экскаваторов достигают почти оптимальной эффективности.

В одном из вариантов осуществления для идентификации данных изображения, применимых для дополнительной обработки с целью определения процента заполнения рабочего инструмента 106, может использоваться процесс, подобный процессу 1600, проиллюстрированному на фиг. 16. В этом варианте осуществления идентифицированное изображение или изображения затем передаются удаленному процессору 136 на шаге 316 процесса 300, и удаленный процессор 136 выполняет анализ процента заполнения. В одном из вариантов осуществления идентифицированные изображения могут дополнительно обрабатываться с использованием нейронной сети, обученной выводить процента заполнения ковша для конкретного полезного груза 110. Вычисленный процент заполнения передается обратно встроенному процессору 102 с целью отображения для оператора карьерного экскаватора 104 или другому процессору на месторождении с целью отображения для другого персонала.

Преимущество описанных выше вариантов осуществления состоит в том, что они обеспечивают информационную глубину для разработчика месторождения или оператора карьерного экскаватора, для достижения которой с использованием только установленного на экскаваторе встроенного процессора потребовались бы значительные вычислительные возможности, что повысило бы сложность и стоимость установленной на экскаваторе системы. Освобождение встроенного процессора от некоторых задач обработки позволяет установленной на экскаваторе системе сосредоточиться на захвате изображений, обозначении изображений как критических или некритических и отдании приоритета обработке критических данных изображения, чтобы обеспечить для оператора карьерного экскаватора результаты решения системой наиболее критически важных задач почти в реальном времени.

Несмотря на то что были описаны и проиллюстрированы конкретные варианты осуществления, такие варианты осуществления следует рассматривать лишь как иллюстративные, а не как ограничивающие изобретение, интерпретируемое в соответствии с прилагаемой формулой изобретения.

Изобретение относится к области вычислительной техники для мониторинга рабочего состояния тяжелого оборудования. Технический результат заключается в повышении эффективности, заключающейся в более быстром обнаружении любой неисправности или повреждения погрузочного оборудования. В заявке описаны реализованные в процессоре компьютера способ и система мониторинга рабочего состояния тяжелого оборудования. Способ включает прием множества изображений, по меньшей мере, рабочего инструмента тяжелого оборудования на интерфейсе встроенного процессора, установленного на тяжелом оборудовании. Способ также включает обработку каждого из множества изображений с использованием реализованной во встроенном процессоре первой нейронной сети, которая предварительно обучена идентифицировать представляющие интерес области изображения. Каждая представляющая интерес область обозначается соответствующим образом, по меньшей мере, как одно из следующего: критическая область, применимая для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования, и некритическая область, применимая для извлечения информации о некритическом рабочем состоянии тяжелого оборудования. 2 н. и 27 з.п. 23 ил.

1. Способ мониторинга рабочего состояния тяжелого оборудования, реализованный посредством процессора компьютера, включающий:

прием множества изображений, по меньшей мере, рабочего инструмента на интерфейсе встроенного процессора, установленного на тяжелом оборудовании;

обработку каждого из множества изображений с использованием реализованной во встроенном процессоре первой нейронной сети, которая предварительно обучена идентифицировать представляющие интерес области изображения,

при этом каждая представляющая интерес область обозначена соответствующим образом, по меньшей мере, как одно из следующего:

критическая область, применимая для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования; и

некритическая область, применимая для извлечения информации о некритическом рабочем состоянии тяжелого оборудования;

побуждение встроенного процессора инициировать дополнительную обработку данных изображения, соответствующих критическим областям, для генерирования локального выходного сигнала для предупреждения оператора тяжелого оборудования о соответствующем критическом состоянии;

передачу данных изображения, соответствующих критическим областям, удаленному процессору, который оперативно сконфигурирован на дополнительную обработку данных изображения и генерирование выходных сигналов, представляющих результаты дополнительной обработки; и

прием выходных сигналов, которые генерирует удаленный процессор, встроенным процессором или другим процессором, связанным с местом эксплуатации тяжелого оборудования, при этом выходные сигналы могут представляться через электронный интерфейс пользователя, по меньшей мере, частично на основании выходных сигналов для указания результатов дополнительной обработки.

2. Способ по п. 1, в котором первая нейронная сеть оперативно сконфигурирована на генерирование вероятностной диаграммы для каждой представляющей интерес области с указанием вероятности каждого пикселя или группы пикселей изображения конкретной представляющей интерес области, при этом способ может дополнительно включать:

побуждение встроенного процессора устанавливать корреляцию между вероятностной диаграммой и эталоном, который соответствует конкретной представляющей интерес области и содержит информацию, основанную на физической протяженности и форме объекта в представляющей интерес области, и

в ответ на установление того, что корреляция между вероятностной диаграммой и эталоном удовлетворяет определенному критерию, побуждение встроенного процессора идентифицировать часть изображения, соответствующую эталону, для дополнительной обработки.

3. Способ по п. 2, в котором установление того, что корреляция между вероятностной диаграммой и эталоном удовлетворяет определенному критерию, включает:

выбор последовательных частей вероятностной диаграммы на основании эталона;

вычисление значения корреляции для каждой последовательной части; и

идентификацию части изображения для дополнительной обработки на основании идентификации одной из последовательных частей вероятностной диаграммы с максимальным значением корреляции, которое также удовлетворяет критерию корреляции.

4. Способ по п. 1, дополнительно включающий обучение первой нейронной сети идентифицировать представляющие интерес области путем:

(a) первого обучения нейронной сети, содержащей первое множество взаимосвязанных нейронов, каждый из которых имеет соответствующую весомость, с использованием первого множества маркированных изображений представляющих интерес областей, обозначенных как критические области или некритические области;

(b) оценки производительности нейронной сети на основании полученных результатов для обработки второго множества маркированных изображений;

(c) отсечения нейронов с весомостью ниже порога отсечения для усеченной нейронной сети получения, содержащей второе множество взаимосвязанных нейронов;

(d) повторной оценки производительности усеченной нейронной сети, содержащей второе множество взаимосвязанных нейронов, на основании полученных результатов для обработки второго множества маркированных изображений;

(e) повторения шагов (с) и (d), если отсечение нейронов оказывает приемлемое влияние на производительность нейронной сети, при этом усеченная сеть, содержащая сокращенное количество нейронов, используется для реализации первой нейронной сети во встроенном процессоре.

5. Способ по п. 4, в котором оценка производительности нейронной сети и повторная оценка производительности усеченной нейронной сети основаны на вычислении функции затрат, которая учитывает повышенное быстродействие усеченной нейронной сети и меньшую точность маркированного результата, полученного с использованием ранее маркированных обучающих изображений.

6. Способ по п. 1, в котором обработка каждого из множества изображений включает обработку изображений для идентификации представляющих интерес областей одного из следующего:

области изнашиваемой детали рабочего инструмента для обнаружения отсутствия изнашиваемой детали; и

области полезной нагрузки рабочего инструмента для обнаружения крупного куска руды;

при этом область изнашиваемой детали и область полезной нагрузки рабочего инструмента обозначены как критические области.

7. Способ по п. 1, в котором обработка каждого из множества изображений включает обработку изображений для идентификации представляющих интерес областей одного из следующего:

области изнашиваемой детали рабочего инструмента для определения ее степени изнашивания;

области полезной нагрузки рабочего инструмента для анализа фрагментации полезного груза; и

области ковша рабочего инструмента для определения заполнения ковша;

при этом область изнашиваемой детали, область полезной нагрузки рабочего инструмента и область ковша рабочего инструмента обозначены как некритические области.

8. Способ по п. 1, в котором прием множества изображений включает прием множества изображений рабочего инструмента и области, окружающей рабочий инструмент, а обработка каждого из множества изображений включает обработку изображений для идентификации представляющих интерес областей одного из следующего:

транспортного средства, появляющегося на изображении в месте, обозначенном как зона опасности; и

связанного с манипулированием рабочим инструментом компонента, появляющегося вне зоны эксплуатации рабочего инструмента;

при этом транспортное средство и представляющие интерес области компонента обозначены как критические области.

9. Способ по п. 1, в котором побуждение встроенного процессора начинать дополнительную обработку данных изображения, ассоциирующегося с критическими областями, включает обработку данных изображения с использованием второй нейронной сети, которая ранее обучена извлекать информацию о критическом рабочем состоянии из представляющей интерес области.

10. Способ по п. 9, в котором обработка идентифицированных изображений с использованием второй нейронной сети включает обработку идентифицированных изображений с использованием сверточной нейронной сети, имеющей разреженное ядро.

11. Способ по п. 1, в котором обработка каждого из множества изображений включает обработку изображений для идентификации области изнашиваемой детали рабочего инструмента, обозначенной как критическая область, а побуждение встроенного процессора инициировать дополнительную обработку включает побуждение встроенного процессора обрабатывать данные изображения, соответствующие области изнашиваемой детали, с использованием второй нейронной сети, которая ранее обучена идентифицировать изнашиваемые компоненты изнашиваемой детали.

12. Способ по п. 11, в котором вторая нейронная сеть оперативно сконфигурирована на генерирование вероятностной диаграммы с указанием вероятности каждого пикселя или группы пикселей изображения, соответствующих изнашиваемому компоненту, при этом способ дополнительно включает:

побуждение встроенного процессора устанавливать корреляцию между вероятностной диаграммой и эталоном изнашиваемого компонента, который содержит информацию, основанную на физической протяженности и форме изнашиваемого компонента; и

в ответ на установление того, что корреляция между вероятностной диаграммой и эталоном изнашиваемого компонента удовлетворяет определенному критерию, побуждение встроенного процессора идентифицировать отдельные изнашиваемые компоненты изнашиваемой детали.

13. Способ по п. 11, дополнительно включающий побуждение встроенного процессора определять местоположение отслеживаемого элемента, соответствующего каждому идентифицированному изнашиваемому компоненту в данных изображения, и дополнительно включающий побуждение встроенного процессора генерировать предупреждение об отсутствии изнашиваемого компонента при изменении местоположения отслеживаемого элемента на последовательных изображениях на величину, превышающую порог отсутствия изнашиваемого компонента.

14. Способ по п. 13, в котором изнашиваемой деталью является ряд зубьев, изнашиваемыми компонентами являются соответствующие зубья из ряда зубьев, а отслеживаемым элементом являются вершины соответствующих зубьев.

15. Способ по п. 14, дополнительно включающий побуждение встроенного процессора:

идентифицировать эталонный зуб среди множества зубьев и генерировать траекторию отслеживаемого признака для эталонного зуба на последовательных изображениях из множества изображений;

определять соответствие траектории отслеживаемого признака на последовательных изображениях для подтверждения идентификации эталонного зуба;

в ответ на подтверждение идентификации эталонного зуба на изображении идентифицировать остальные зубья на изображении относительно эталонного зуба для однозначной идентификации каждого зуба на изображении;

при этом побуждение встроенного процессора генерировать предупреждение об отсутствии зуба включает побуждение встроенного процессора генерировать предупреждение об отсутствии зуба, однозначно идентифицирующее зуб, местоположение отслеживаемого признака которого изменилось на величину, превышающую порог обнаружения отсутствия зубьев.

16. Способ по п. 15, дополнительно включающий побуждение встроенного процессора сохранять информацию о местоположении отслеживаемого признака, при этом побуждение встроенного процессора генерировать предупреждение об отсутствии зуба включает побуждение встроенного процессора генерировать предупреждение об отсутствии зуба в ответ на обнаружение изменения местоположения отслеживаемого признака на последовательных изображениях на величину, превышающую порог обнаружения отсутствия зубьев.

17. Способ по п. 15, дополнительно включающий побуждение встроенного процессора сохранять информацию о местоположении отслеживаемого признака и в ответ на обнаружение изменения местоположения отслеживаемого признака на последовательных изображениях на меньшую величину, чем порог обнаружения отсутствия зубьев, обновлять сохраненную информацию о местоположении на основании измененного местоположения.

18. Способ по п. 1, в котором обработка каждого из множества изображений включает побуждение встроенного процессора обрабатывать изображения для идентификации областей, удовлетворяющих определенному критерию успешного установления состояния изнашивания изнашиваемой детали рабочего инструмента, где идентифицированные области обозначены как некритические области, и далее включает передачу данных изображения, соответствующих идентифицированным областям, удаленному процессору для дополнительной обработки для мониторинга скорости изнашивания изнашиваемой детали.

19. Способ по п. 18, в котором побуждение встроенного процессора передавать выбранные изображения включает побуждение встроенного процессора:

использовать нейронную сеть, которая ранее обучена присваивать определенную вероятность пикселям изображения, содержащим признаки изнашивания, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих признак изнашивания; и

определять, что критерий успешного установления состояния изнашивания изнашиваемой детали может быть удовлетворен, когда изображение содержит минимальное количество групп пикселей, с высокой вероятностью отображающих признак изнашивания.

20. Способ по п. 18, в котором изнашиваемой деталью является ряд зубьев, состоящий из множества зубьев, при этом способ дополнительно включает побуждение удаленного процессора дополнительно обрабатывать изображения, переданные встроенным процессором, путем:

обработки изображений с использованием нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения, содержащим признаки изнашивания, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих признак изнашивания; и

обработки выбранных изображений с использованием второй нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения зуба, при этом в целом непрерывная группа пикселей с более высокой присвоенной вероятностью соответствует группе пикселей, отображающих зуб.

21. Способ по п. 20, в котором дополнительная обработка дополнительно включает генерирование, по меньшей мере, одного из следующего: скорости изнашивания, характера изнашивания и расчетного срока службы каждого зуба из множества зубьев путем установления состояния зуба в зависимости от продолжительности эксплуатации тяжелого оборудования.

22. Способ по п. 20, в котором дополнительная обработка дополнительно включает генерирование уровня достоверности, соответствующего состоянию каждого зуба, определенному во время дополнительной обработки, при этом уровень достоверности основан на количестве признаков изнашивания зуба, которые идентифицированы на изображении.

23. Способ по п. 20, в котором признак изнашивания содержит часть рабочего инструмента, которая изнашивается с меньшей скоростью во время работы тяжелого оборудования, чем множество зубьев.

24. Способ по п. 1, в котором обработка каждого из множества изображений включает:

побуждение встроенного процессора выбирать изображения из множества изображений с использованием первой нейронной сети, которая ранее обучена присваивать определенную вероятность пикселям изображения несущего полезный груз рабочего инструмента, при этом изображения выбираются на основании включения в целом непрерывной области с более высокой присвоенной вероятностью, отображающей полезный груз, и выбранные изображения представляют перемещение рабочего инструмента при выполнении операции погрузки,

обработку изображений для различения полезного груза и области фона на изображении путем обработки последовательных изображений для идентификации участков статического изображения, которые остаются преимущественно неизменными на последовательных изображениях и с более высокой вероятностью соответствуют полезному грузу;

при этом передача данных изображения, соответствующих некритическим областям, удаленному процессору включает выбор, по меньшей мере, одного применимого изображения и передачу выбранного изображения удаленному процессору для дополнительной обработки в удаленном процессоре с использованием второй нейронной сети для идентификации фрагментированных частей материала полезного груза на участках статического изображения.

25. Способ по п. 1, в котором прием множества изображений включает прием изображений от одного из следующего:

датчика изображений, чувствительного в основном к волнам видимой области спектра; и

датчика изображений, чувствительного к волнам инфракрасной области спектра.

26. Способ по п. 1, в котором прием множества изображений включает прием изображений от пары разнесенных датчиков изображений, способных генерировать трехмерную информацию, представляющую объекты в пределах видимости датчиков изображений.

27. Способ по п. 26, в котором обработка множества изображений включает обработку изображений для получения трехмерных данных глубины, соответствующих пикселям изображений, при этом идентификация представляющих интерес областей может быть основана на трехмерных данных глубины.

28. Способ по п. 26, в котором передача данных изображения удаленному процессору включает передачу трехмерных данных изображения удаленному процессору для использования при определении размеров объектов в пределах видимости датчиков изображений.

29. Система мониторинга рабочего состояния тяжелого оборудования, содержащая:

установленный на тяжелом оборудовании встроенный процессор с интерфейсом для приема множества изображений, по меньшей мере, рабочего инструмента тяжелого оборудования, оперативно сконфигурированный на обработку каждого из множества изображений с использованием первой нейронной сети, которая ранее обучена идентифицировать представляющие интерес области изображения,

при этом каждая область обозначена соответствующим образом, по меньшей мере, как одно из следующего:

критическая область, применимая для извлечения требуемой информации о критическом рабочем состоянии тяжелого оборудования; и

некритическая область, применимая для извлечения информации о некритическом рабочем состоянии тяжелого оборудования;

при этом встроенный процессор оперативно сконфигурирован на инициирование дополнительной обработки данных изображения, соответствующих критическим областям, для генерирования локального выходного сигнала для предупреждения оператора тяжелого оборудования о соответствующем критическом состоянии;

передатчик, поддерживающий связь с встроенным процессором и оперативно сконфигурированный на передачу данных изображения, соответствующих некритическим областям, удаленному процессору, который оперативно сконфигурирован на дополнительную обработку данных изображения и генерирование выходных сигналов, представляющих результаты дополнительной обработки; и

при этом выходные сигналы, генерируемые удаленным процессором, принимаются встроенным процессором или другим процессором, связанным с местом эксплуатации тяжелого оборудования, и выходные сигналы могут представляться через электронный интерфейс пользователя, по меньшей мере, частично на основании выходных сигналов для указания результатов дополнительной обработки.