СИСТЕМА И СПОСОБ ОБНАРУЖЕНИЯ ИЗНОСА ИЛИ ПОТЕРИ ИНСТРУМЕНТОВ ДЛЯ ЗЕМЛЯНЫХ РАБОТ Российский патент 2024 года по МПК E02F9/26 G06T7/10 

Область техники, к которой относится изобретение

Настоящее изобретение относится к системе и способу обнаружения износа техники во времени, и, более конкретно, к системе и способу обнаружения износа или потери инструментов для земляных работ инструментов для земляных работ во времени с использованием способов компьютерного зрения.

Уровень техники

Машины могут использоваться для выполнения различных задач на рабочем месте. Например, землеройно-транспортные машины могут использоваться для выемки, перемещения, придания формы, выстраивания в соответствии с рельефом местности и/или удаления материала, присутствующего на стройплощадке, в частности, гравия, бетона, асфальта, грунта и/или других материалов. Эти машины могут быть оборудованы ковшом, используемым для сбора таких материалов, а ковш может быть оснащен набором такой землеройной техники, как зубья для разрыхления материала. Со временем землеройная техника изнашивается и уменьшается в размерах, из-за чего снижается ее эффективность, в результате чего сбор материала ковшом на стройплощадке затрудняется. Инструмент для земляных работ также может отделиться от ковша. Если поломка инструмента для земляных работ останется незамеченной, эти инструменты могут смешиваться с материалом на стройплощадке и вызывать повреждения техники, используемого для последующей переработки, например, дробилок или пульверизаторов. В рабочих машинах могут использоваться системы обнаружения износа для выявления изношенных или сломанных зубьев до того, как произойдет повреждение техники, установленной ниже по линии.

Попытка создать системы обнаружения отсутствующих зубьев на ковше туннельного экскаватора описана в Патенте США № 9,886,754 («Патент '754»), выданном 6 февраля 2018 года. В частности, в патенте '754 описывается способ обнаружения отсутствия зуба на ковше туннельного экскаватора. В патенте '754 указано, что способ включает получение пары кадров изображения с камеры, расположенной на ковше туннельного экскаватора, сконфигурированной для переноса груза из шахты. В патенте '754 отмечено, что область линии зубьев, соответствующая паре кадров изображения, определяется для создания пары областей линии зубьев на основе набора шаблонов экскаватора. В патенте '754 указано, что набор шаблонов экскаватора включает набор кортежей, каждый из которых имеет множество элементов набора шаблонов, и что элементы набора шаблонов включают эталонное изображение экскаватора, соответствующее положению в диапазоне его движения, расположение ковша экскаватора, расположение области зубьев, изображение шаблона экскаватора и изображение области зубьев на изображении шаблона.

Применение способа, представленного в патенте '754, основанный на использовании пар изображений и отдельных элементов набора шаблонов для ковша и зубьев, может быть проблематичным. Использование пар изображений и различных элементов набора шаблонов, описанных в патенте '754, для определения отсутствующих зубьев может быть дорогостоящим с точки зрения вычислительных ресурсов и требовать большого их количества. Более того, использование изображений зубьев отдельно от изображений ковша может привести к ошибкам в обнаружении, поскольку в некоторых вариантах осуществления изобретения изображение зубьев может быть похоже на контур промежуточной пластины ковша без зубьев. Хотя способ, описанный в патенте '754, якобы определяет наличие зуба, он не определяет степень износа зубьев, прикрепленных к ковшу, и не может спрогнозировать, когда зубья будут нуждаться в замене. Системы и способы, описанные в настоящем документе, направлены на решение одной или нескольких из этих проблем.

Сущность изобретения

Согласно первому аспекту, способ обнаружения износа или потери включает захват видеопотока с камеры, связанной с рабочей машиной. Видеопоток включает в себя множество изображений, связанных с ковшом рабочей машины. Ковш включает в себя множество инструментов для земляных работ (конструктивных элементов). Способ также включает сегментирование множества изображений с использованием шаблона «ковш-инструмент» и выбор изображения на основе сегментирования. Шаблон «ковш-инструмент» включает изображение ковша с множеством неизношенных инструментов. Способ также включает идентификацию по меньшей мере одного из множества инструментов на выбранном изображении, основанную по меньшей мере частично на расположении множества неизношенных инструментов в шаблоне «ковш-инструмент». Способ также включает определение уровня износа или потерь для по меньшей мере одного из множества инструментов.

Согласно еще одному аспекту заявленного изобретения, система обнаружения износа включает камеру, процессор и энергонезависимый машиночитаемый носитель информации, хранящий исполняемые инструкции. Исполняемые инструкции при исполнении процессором заставляют процессор выполнять операции, включая захват видеопотока с камеры. Видеопоток включает в себя множество изображений, связанных с ковшом рабочей машины. Ковш включает в себя множество инструментов для земляных работ (конструктивных элементов). Операции также включают сегментирование множества изображений с использованием шаблона «ковш-инструмент» и выбор изображения на основе сегментирования. Шаблон «ковш-инструмент» включает изображение ковша с множеством неизношенных инструментов. Операции также включают идентификацию по меньшей мере одного из множества инструментов на выбранном изображении, основанную по меньшей мере частично на расположении множества неизношенных инструментов в шаблоне «ковш-инструмент». Операции также включают определение уровня износа или потерь для по меньшей мере одного из множества инструментов.

Согласно другому аспекту настоящего изобретения, система обнаружения износа включает камеру, сконфигурированную для захвата видеопотока ковша с множеством пикселей данного инструмента для земляных работ (инструмента) в момент цикла копания и отвала из рабочей машины, когда множество пикселей изображения техники находятся в поле зрения камеры. Система также включает процессор и машиночитаемый носитель информации, хранящий исполняемые инструкции, которые при исполнении процессором обеспечивают выполнение операций. Операции включают получение видеопотока с камеры. Видеопоток включает в себя множество изображений ковша. Операции также включают сегментирование множества изображений с помощью первого сверточного фильтра с использованием шаблона «ковш-инструмент» и выбор изображения на основе сегментирования. Шаблон «ковш-инструмент» включает изображение ковша с множеством неизношенных инструментов. Операции также включают идентификацию по меньшей мере одного из множества инструментов на выбранном изображении, основанную по меньшей мере частично на расположении множества неизношенных инструментов в шаблоне «ковш-инструмент». Операции также включают определение степени износа или потери по меньшей мере одного из множества инструментов путем вычисления первых оценок сходства для местоположений пикселей, связанных с множеством неизношенных инструментов в шаблоне «ковш-инструмент», с соответствующими местоположениями пикселей, связанных с множеством инструментов на выбранном изображении.

Краткое описание чертежей

Подробное описание приведено со ссылкой на сопроводительные фигуры. На рисунках крайняя левая цифра номера ссылки обозначает цифру, на которой впервые появляется номер ссылки. Одинаковые номера ссылок на разных фигурах обозначают схожие или идентичные объекты.

Фиг. 1 представляет блок-схему, изображающую схематический вид примера машины, содержащей пример системы для обнаружения износа землеройной техники.

Фиг. 2 представляет схему, изображающую схематический вид сбоку примерной среды, в которой находится пример машины, включающей пример системы для обнаружения износа землеройной техники.

Фиг. 3 представляет диаграмму, изображающую схематичный вид сбоку другого примера окружающей среды, содержащей пример машины, включающей пример системы для обнаружения износа землеройной техники.

Фиг. 4 представляет диаграмму, изображающую схематический вид сбоку другой примерной среды, имеющей пример машины, включающей пример системы для обнаружения износа землеройной техники.

Фиг. 5 представляет диаграмму потока данных, изображающую пример потока данных, предназначенных для процесса выбора изображения.

Фиг. 6 представляет диаграмму данных, изображающую пример потока данных, используемых для процесса идентификации землеройной техники и подсчета пикселей.

Фиг. 7 представляет диаграмму примера сопоставления количества пикселей изображения землеройной техники с временными интервалами в одном из примеров осуществления изобретения.

Фиг. 8 представляет пример процесса обнаружения износа в примерной среде.

Фиг. 9 представляет пример процесса выбора изображения для выполнения анализа обнаружения износа в примерной среде.

Подробное описание изобретения

Настоящее изобретение в целом относится к системам и способам обнаружения износа компонентов рабочей машины в такой среде, как стройплощадка, с использованием способов компьютерного зрения. В некоторых примерах камера, связанная с рабочей машиной, снимает видеозапись компонента рабочей машины. Видеозапись анализируется процессором, связанным с рабочей машиной, для обнаружения износа компонента. Компонентом может быть один или несколько инструментов для земляных работ ковша рабочей машины. В некоторых примерах система и способ выбирают изображения из видео, снятого камерой, для обработки с использованием шаблона изображений, иллюстрирующих ковш и землеройную технику.

Для изображений, выбранных для обработки, система и способ определяют количество пикселей изображения землеройной техники и создают график или отображение количества пикселей для землеройной техники во времени. Количество пикселей может включать площадь (например, общее количество пикселей землеройной техники), высоту и ширину землеройной техники в пикселях, сумму высоты и ширины землеройной техники, и это лишь некоторые примеры. Способ определения количества пикселей может варьироваться в зависимости от формы и вида землеройной техники. Например, в случае землеройной техники, длина которого значительно превышает ширину, можно использовать подсчет пикселей по высоте, а для землеройной техники, ширина которого значительно превышает длину, можно использовать подсчет пикселей по ширине. Различные способы определения количества пикселей могут быть использованы без отступления от сущности и объема настоящего изобретения.

В некоторых примерах процессор может определить износ землеройной техники и предсказать, когда это техника нуждается в замене, на основе скорости изменения количества пикселей землеройной техники во времени. Процессор также может определить поломку одной из единиц землеройной техники (например, в случае потери зубца), на основании высокой скорости изменения количества пикселей землеройной техники во времени. Используя скорость изменения количества пикселей землеройной техники со временем для таких определений, система и способ могут уменьшить ошибки при обнаружении износа, минимизируя влияние ложных срабатываний, и могут делать это с меньшими вычислительными ресурсами, чем такие более склонные к ошибкам способы, как машинное обучение или нейронные сети.

Фиг. 1 представлена блок-схема, изображающая схему примера рабочей машины 100, включающей пример компьютерной системы 110 для обнаружения износа. Хотя на фиг. 1 изображена рабочая машина 100 — гидравлический карьерный экскаватор, в других примерах рабочая машина 100 может включать любую машину, которая перемещает, формирует, копает или удаляет такой материал, как грунт, горная порода или минералы. На фиг. 1 рабочая машина 100 может включать ковш 120, прикрепленный к рычагу 122. Ковш 120 может включать один или несколько инструментов для земляных работ (конструктивный элемент), например, зубья 125, которые способствуют разрыхлению материала рабочей машиной 100. Хотя в примерах, представленных в настоящем изобретении, зубья 125 называются землеройной техникой и ее инструментами, другие типы такого техники, как предполагается, находятся в пределах объема вариантов осуществления, представленных в настоящем изобретении. Например, землеройная техника может включать межзубьевые сегменты, торцевые накладки, адаптеры, защитные элементы рыхлителя, режущие кромки, бокорезы, наконечники или любой другой инструмент, связанный с рабочей машиной, который может изнашиваться со временем из-за трения с материалом, обрабатываемым на стройплощадке.

Рабочая машина 100 может также содержать камеру 128. Камера 128 может иметь поле зрения 129, направленное на ковш 120 и зубья 125. Камера 128 может быть моно- или стереокамерой.

Если рабочая машина 100 работает на стройплощадке, она может перемещать рычаг 122 для позиционирования ковша 120 в целях перемещения или копания материала на стройплощадке в рамках цикла копания и отвала. По мере того, как рабочая машина 100 позиционирует ковш 120 во время цикла копания и отвала, ковш 120 может перемещаться в поле зрения 129 камеры 128 и выходить из него. Камера 128 может быть расположена таким образом, чтобы иметь беспрепятственный обзор зубьев 125 во время цикла копания и отвала. Например, камера 128 может быть расположена на рабочей машине 100 таким образом, чтобы ковш 120 и зубья 125 были видны в момент, когда ковш 120 опорожняет материал в цикле копания и отвала. В качестве другого примера, камера 128 может быть расположена таким образом, что ковш 120 попадает в поле ее зрения, когда рука 122 полностью выдвигается или полностью сжимается в течение цикла копания и отвала. Как поясняется ниже в отношении фиг. 2-4, положение камеры 128 может меняться в зависимости от типа рабочей машины 100 и особенностей, связанных с ее условиями эксплуатации.

Согласно некоторым вариантам осуществления изобретения, рабочая машина 100 может включать панель управления оператора 130. Панель управления оператора 130 может содержать дисплей 133, который выводит данные для оператора рабочей машины 100, чтобы оператор мог получать статус или аварийные сигналы, связанные с компьютерной системой 110 обнаружения износа. Дисплей 133 может быть жидкокристаллическим (LCD), дисплеем на светоизлучающих диодах (LED), дисплеем на катодно-лучевой трубке (ЭЛТ) или другим типом дисплея, известным в данной области. В некоторых примерах дисплей 133 может включать аудиовыход, например, динамики или порты для наушников или периферийных динамиков. Дисплей 133 может также включать устройства ввода звука, такие как микрофон или порты для периферийных микрофонов. В некоторых вариантах осуществления изобретения дисплей 133 может включать сенсорный экран, который также может выступать в качестве устройства ввода.

В некоторых вариантах осуществления изобретения панель управления оператора 130 может также включать клавиатуру 137. Клавиатура 137 может обеспечивать возможность ввода данных в компьютерную систему 110 для обнаружения износа. Клавиатура 137 может включать в себя множество клавиш, позволяющих оператору рабочей машины 100 вводить данные в компьютерную систему 110 для обнаружения износа. Например, оператор может нажимать кнопки клавиатуры 137 для выбора шаблонов изображений, связанных с рабочей машиной 100, ковшом 120 или зубьями 125 в соответствии с примерами осуществления настоящего изобретения. Клавиатура 127 может быть невиртуальной (например, содержащей физически нажимаемые клавиши) или клавиатура 127 может быть виртуальной клавиатурой, отображаемой на сенсорном дисплее 133.

На фиг. 1 компьютерная система 110 для обнаружения износа может содержать процессор 140. Процессор 140 может содержать один или несколько процессоров, таких как центральный процессор (ЦП), графический процессор (GPU), программируемая пользователем логическая матрица (FPGA), некоторая комбинация ЦП, GPU или FPGA, или процессор любого другого типа. Процессор 140 может иметь множество арифметических логических устройств (АЛУ), которые выполняют арифметические и логические операции, а также один или несколько блоков управления (CU), которые извлекают инструкции и сохраненное содержимое из кэш-памяти процессора, а затем исполняют инструкции, обращаясь к АЛУ, по мере необходимости, во время выполнения программы. Процессор 140 может также отвечать за выполнение драйверов и других исполняемых компьютером инструкций для приложений, процедур или процессов, хранящихся в памяти 150, которая может быть связана с обычными типами энергозависимой (RAM) и/или энергонезависимой (ROM) памяти.

В некоторых вариантах осуществления изобретения компьютерная система 110 для обнаружения износа может содержать память 150. Память 150 может содержать системную память, которая может быть энергозависимой (такой как RAM), энергонезависимой (такой как ROM, флэш-память и т.д.) или некоторой их комбинацией. Память 150 может далее включать энергонезависимые машиночитаемые носители информации, в частности, энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или с помощью любой технологии хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Системная память, съемное и несъемное хранилище — все это примеры энергонезависимых машиночитаемых носителей. Примеры энергонезависимых машиночитаемых носителей информации включают, среди прочих, ОЗУ, ПЗУ, EEPROM, флэш-память или другие технологии памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические устройства хранения, магнитные кассеты, магнитную ленту, магнитные диски или другие магнитные устройства хранения, или любые другие энергонезависимые носители, которые может быть использованы для хранения нужной информации и к которым может получить доступ компьютерная система 110 обнаружения износа.

Память 150 может хранить данные, включая исполняемые компьютером инструкции, для компьютерной системы 110 обнаружения износа, как описано в настоящем документе. Например, память 150 может хранить один или несколько таких компонентов компьютерной системы 110 для обнаружения износа, как библиотека шаблонов 160, селектор изображений 165, анализатор изображений 170, анализатор износа 175 и обработчик оповещений 180. Память 150 может также хранить дополнительные компоненты, модули или другой код, исполняемый процессором 140 для обеспечения работы компьютерной системы 110 обнаружения износа. Например, память 150 может включать код, связанный с функциями ввода/вывода, программными драйверами, операционными системами или другими компонентами.

Библиотека шаблонов 160 может включать одно или несколько шаблонных изображений, используемых селектором изображений 165 для идентификации и выбора изображений из видеосигнала, передаваемого камерой 128 в компьютерную систему 110 для обнаружения износа. Например, библиотека шаблонов 160 может содержать один или несколько шаблонов изображений, которые могут быть использованы в качестве части алгоритма сегментации или сверточного фильтра, выполняемого селектором изображений 165 для поиска изображений по видеоматериалам, которые по существу похожи на один или несколько шаблонов изображений. Согласно некоторым вариантам осуществления изобретения, шаблоны, хранящиеся в библиотеке шаблонов 160, содержат изображения ковша и его зубьев (например, шаблон «ковш-инструмент»). В частности, для рабочей машины 100 один из шаблонов, хранящихся в библиотеке шаблонов 160, может включать изображение ковша 120 с зубьями 125, поскольку предполагается, что ковш 120 будет расположен в поле зрения камеры 128. В некоторых примерах зубья 125 одного или более шаблонов являются неизношенными, новыми или такими, какими они выглядят до контакта с материалом на рабочем месте.

Библиотека шаблонов 160 может включать множество шаблонов «ковш-инструмент», где каждый шаблон «ковш-инструмент» соответствует рабочей машине, ковшу, зубу, землеройной технике или их комбинации. Во время работы оператор может использовать панель управления 130 для выбора шаблона «ковш-инструмент» из библиотеки шаблонов 160, соответствующего ковшу 120 в зубьях 125, или рабочей машины 100. Например, если рабочая машина 100 представляет собой гидравлический карьерный экскаватор, имеющую номер модели «6015B», оператор может использовать панель управления 130 для ввода номера модели «6015B», а компьютерная система 110 обнаружения износа может загрузить в память 150 шаблон, соответствующий гидравлическому горному экскаватору модели 6015B, из библиотеки шаблонов 160. В некоторых примерах список шаблонов, имеющихся в библиотеке шаблонов 160, может быть показан на дисплее 133 при включении или сбросе компьютерной системы 110 для обнаружения износа, и оператор может выбрать один из шаблонов из списка для работы в зависимости от номера модели рабочей машины 100, типа ковша 120 или типа зубьев 125.

Согласно некоторым вариантам осуществления изобретения, устройство выбора изображений 165 может выполнять одну или несколько операций выбора изображения для дальнейшего анализа обнаружения износа. В некоторых вариантах осуществления изобретения устройство выбора изображений 165 использует шаблон «ковш-инструмент» и способы компьютерного зрения для сопоставления видеопотока, поступающего с камеры 128, с шаблоном. Устройство выбора изображений 165 может использовать различные способы компьютерного зрения, по отдельности или в комбинации, для сопоставления шаблона «ковш-инструмент» с кадрами видеопотока с камеры 128. Например, селектор изображений может использовать обычный подход компьютерного зрения на основе шаблона, подходы с использованием собственных пространств, подходы кросс-корреляции, сегментации изображений, способы обнаружения краев, сверточные фильтры или другие способы, известные в данной области, для идентификации объектов на изображениях на основе шаблона, маски или ядра.

В некоторых вариантах осуществления изобретения селектор изображений 165 может использовать другие способы для выбора изображения для дальнейшего анализа обнаружения износа. Например, селектор изображений 165 может быть настроен на захват изображения на основе положения ковша 120 во время цикла копания и отвала рабочей машины 100. В таком примере селектор изображений 165 может выбрать изображение, когда ковш 120, как можно ожидать, находится в фиксированном положении, например, в начале или конце цикла копания и отвала, или когда ковш полностью втянут или выдвинут. Когда ковш 120 достигает фиксированного положения, селектор изображений может захватить изображение с видеокамеры 128 и выбрать его для дальнейшей обработки в целях обнаружении износа. Селектор изображений 165 также может быть настроен на выбор изображения в момент цикла копания и отвала, когда ковш 120 и зубья 125 находятся ближе всего к камере 128, или когда камера 128 имеет четкий или беспрепятственный вид на ковш 120 и зубья 125.

Селектор изображений 165 может также использовать способы машинного обучения или нейронной сети для отбора изображений для дальнейшего анализа обнаружения износа. Например, селектор изображений может включать нейронную сеть, которая была обучена с помощью корпуса обучающих изображений, показывающих ковш 120 и зубья 125 в оптимальном положении относительно поля зрения камеры 128, а также ковш 120 и зубья 125 в неоптимальных положениях относительно поля зрения камеры 128. Корпус обучающих изображений может также включать изображения объектов с стройплощадки, которые потенциально могут вызвать ложные срабатывания, например, ковш 120 с отсутствующими одним или несколькими зубьями 125, ковш 120 с прилипшим к нему материалом, ковш или зубья, которые обычно не используются в рабочей машине 100, и т.д., и это лишь некоторые примеры. После обучения нейронной сети селектор изображений 165 может использовать ее для обработки видеопотока с камеры 128 и отбора изображений для дальнейшей обработки при обнаружении износа.

Согласно некоторым вариантам осуществления изобретения, селектор изображений 165 может использовать комбинацию вышеуказанных способов для идентификации изображений для дальнейшего анализа обнаружения износа. Например, селектор изображений 165 может использовать положение ковша 120 в диапазоне положений, соответствующих полю зрения 129 в цикле копания и отвала, в качестве триггера для начала применения шаблона «ковш-инструмент» к изображениям видеопотока, захваченного камерой 128. В таких вариантах осуществления селектор изображений 165 может переходить в режим «ожидания», если ковш 120 находится вне диапазона положения, и в режим «начала обработки», если ковш 120 входит в диапазон положения. В качестве другого примера, устройство выбора изображений 165 может использовать диапазон положения ковша 120 в сочетании с обученной нейронной сетью для выбора изображений для дальнейшей обработки аналогичным образом.

Анализатор изображений 170 может быть сконфигурирован для анализа изображений, выбранных селектором изображений 165, для дальнейшей идентификации отдельных зубьев 125 на выбранном изображении. В некоторых примерах анализатор изображений 170 выбирает отдельные зубья 125, используя ожидаемое расположение зубьев 125 в пределах захваченного изображения. Например, если селектор изображений 165 использует шаблон «ковш-инструмент», ожидаемое положение зубьев 125 относительно ковша 120 будет известно на основе взаимного расположения зубьев и ковша в шаблоне «ковш-инструмент». Используя эту информацию, анализатор изображений 170 может перейти к предполагаемому месту на выбранном изображении и захватить область пикселей, расположенную рядом с зубьями. Затем область пикселей может быть использована для дальнейшей идентификации зуба на основе способов компьютерного зрения, таких как применение сверточного фильтра, анализ сегментации, обнаружение краев или анализ интенсивности/темноты пикселей в регионе пикселей. В некоторых вариантах осуществления анализатор изображений 170 может использовать шаблон индивидуального зуба для применения к региону пикселей для дальнейшего уточнения местоположения зуба с помощью способов компьютерного зрения.

Анализатор износа 175 может быть сконфигурирован для анализа изображений зубьев или областей пикселей, определенных анализатором изображений 170, на предмет износа. В некоторых вариантах осуществления анализатор изображений 170 анализирует износ на основе связанного шаблона «ковш-инструмент», используемого селектором изображений 165 для выбора изображения для обработки. Например, связанный шаблон «ковш-инструмент» может включать изображение неизношенного инструмента, которое можно сравнить с изображениями зубьев, идентифицированными анализатором изображений 170 на основе размера неизношенного зуба из шаблона «ковш-инструмент» и размера изображений зубьев. В некоторых вариантах осуществления изобретения может быть рассчитан балл сходства для изображений зубьев и соответствующего неизношенного зуба в шаблоне «ковш-инструмент». Коэффициент сходства может отражать меру того, насколько хорошо изображения зубьев совпадают с соответствующим неизношенным зубом в шаблоне «ковш-инструмент». Например, коэффициент сходства может включать использование способа пересечения множеств или коэффициента Жаккара для определения сходства. В некоторых вариантах осуществления для определения коэффициента сходства может быть использован способ определения коэффициента Дайса или оценки F1. Коэффициент сходства может также включать значение, отражающее процентное соотношение того, сколько пикселей изображения зуба перекрывается с соответствующим неизношенным зубом в шаблоне «ковш-инструмент». В некоторых вариантах осуществления изобретения коэффициент сходства может быть масштабирован или нормализован от нуля до ста.

Коэффициент сходства может служить индикатором износа зубьев 125. Например, низкий результат (например, в диапазоне от 0 до 20) может указывать на то, что один из зубьев 125 сломан или отсутствует, что свидетельствует о потере зуба. Высокий коэффициент (например, в диапазоне 80-100) может указывать на то, что зуб находится в хорошем состоянии и не нуждается в замене. Коэффициент, находящийся между низким и высоким баллами, может определить степень износа зуба, при этом более высокие баллы указывают на более длительный срок замены зуба, чем более низкие.

В некоторых вариантах осуществления анализатор износа 175 может подсчитывать пиксели, связанные с изображениями зубьев 125 во времени, и использовать количество пикселей для определения уровня износа зубьев 125 и тренда износа зубьев 125. Например, рабочая машина 100 может работать на своем рабочем месте в течение нескольких дней. По мере того, как рабочая машина 100 перемещает материал во время работы, камера 128 передает видеопоток изображений ковша 120 и зубьев 125 в компьютерную систему 110 обнаружения износа, а анализатор изображений 170 определяет области пикселей с зубьями для дальнейшего анализа. Анализатор износа 175 может отображать количество пикселей, связанных с зубом, в несколько моментов времени в течение периода выполнения работы. По мере того как ковш 120 и зубья 125 взаимодействуют с материалом на стройплощадке, ожидается, что зубья 125 будут уменьшаться в размере из-за износа. Соответственно, количество пикселей, связанных с зубьями 125, также будет уменьшаться со временем, и количество пикселей со временем будет отражать тренд износа. Уровень износа для зубьев 125 в конкретный момент времени может быть определен с использованием тренда износа в конкретный момент времени. Уровень износа зубьев 125 может указывать на то, что зубья 125 нуждаются в замене, или может указывать на потерю одного или нескольких зубьев 125. В некоторых вариантах осуществления подсчет пикселей, связанных с зубьями 125, может храниться в памяти 150 и применяться к нескольким рабочим местам и нескольким стройплощадкам, а тренд износа может быть применима к сроку службы зубьев 125. В таких вариантах осуществления, количество пикселей, связанных с зубьями 125, регистрируемое анализатором износа 175, может быть сброшено при замене ковша 120 или зубьев 125, и анализатор износа 175 может возобновить сбор количества пикселей для зубьев 125 с нулевого момента времени.

Поскольку анализатор износа 175 определяет тренд износа на основе количества пикселей для зубьев 125, измеренных во времени, анализатор износа 175 может также формировать прогноз того, когда зубья 125 могут потребовать замены. Например, если анализатор износа 175 определяет, что количество пикселей, связанных с зубьями 125, показывает, что зубья 125 теряют 1% ресурса за десять рабочих часов (поскольку количество пикселей уменьшается на 1% за десять рабочих часов), а зубья 125 использовались в течение восьмисот рабочих часов, анализатор износа 175 может определить, что зубья 125 необходимо заменить в течение 200 часов.

В некоторых вариантах осуществления компьютерная система 110 для обнаружения износа может включать обработчик оповещений 180. Обработчик оповещений 180 может быть подключен к анализатору износа 175 и отслеживать тренд износа и уровень износа, определенный анализатором износа 175. Обработчик оповещений 180 может предоставлять оповещения на панель управления оператора 130 на основе информации, определенной анализатором износа 175. Например, если уровень износа достигает порогового значения, диспетчер 180 может генерировать оповещение, которое отображается на дисплее 133 панели управления оператора 130. Пороговое значение может соответствовать значениям, указывающим на сильный износ зуба или, в некоторых случаях, его полную потерю. Оповещение может служить сигналом для оператора рабочей машины 100 о том, что один или несколько зубьев 125 нуждаются в замене. Пороговое значение износа может варьироваться в разных вариантах осуществления изобретения и может зависеть от типа зубьев 125 и материала стройплощадки, с которым зацепляются зубья 125.

Обработчик оповещений 180 может также предоставить оповещение о том, что зубья 125 могут потребовать замены в какой-то момент в будущем, например, что зубья 125 могут потребовать замены в течение двух недель. Предупреждение о замене может включать информацию, связанную с прогнозом тренда износа зубьев 125. Например, оповещение о замене может включать количественную оценку тренда износа (например, зубья 125 изнашиваются на 2% за рабочий день), количество времени, в течение которого зубья находились в эксплуатации, или ожидаемую дату или время, когда зубья 125 достигнут порога износа на основе данных об эксплуатации.

В некоторых вариантах осуществления обработчик оповещений 180 может отслеживать тренд износа, определенную анализатором износа 175, и предоставлять значение уровня износа на дисплей 133, чтобы информировать оператора рабочей машины 100 о его текущем уровне. Например, если тренд износа показывает, что зубья 125 изношены на 60%, то на основании тренда износа обработчик оповещений 180 может выдать указание, что до замены зубьев 125 осталось 40% их срока службы. Дисплей 133 может также информировать оператора о том, что зуб сломался, что указывает на потерю зуба (например, если один или несколько зубьев 125 имеют ресурс менее 20 %).

Фиг. 2 представляет диаграмму, изображающую схематический вид сбоку примера среды 200, в которой работает рабочая машина 201 фронтального погрузчика. Рабочая машина 201 фронтального погрузчика может включать ковш 220 и один или несколько зацепляющих грунт зубьев 225. На фиг. 2, камера 228 расположена таким образом, что зубья 225 и ковш 220 находятся в поле зрения 229 камеры 228 во время окончания цикла копания и отвала. В результате селектор изображений 165 (фиг. 1) может быть сконфигурирован в таких вариантах осуществления изобретения для получения изображений, когда ковш 220 находится в состоянии покоя в конце цикла копания и отвала.

Фиг. 3 представляет диаграмму, изображающую схематичный вид сбоку примера среды 300, в которой работает гидравлический карьерный экскаватор 301. Гидравлический карьерный экскаватор 301 может включать ковш 320, а также один или несколько зацепляющих грунт зубьев 325. В отличие от положения камеры 228 для рабочей машины 201 с фронтальным погрузчиком, камера 328 расположена таким образом, что зубья 325 находятся в поле зрения 329 камеры 328 во время окончания цикла копания и отвала. Селектор изображений 165 (фиг. 1) может быть сконфигурирован в таких вариантах осуществления изобретения для получения изображений, когда ковш 320 находится в состоянии покоя в конце цикла копания и отвала.

Фиг. 4 представляет диаграмму, изображающую схематичный вид сбоку примера среды 400, в которой работает канатный экскаватор с электрическим приводом 401. Канатный экскаватор с электрическим приводом 401 может включать ковш 420, один или несколько зацепляющих грунт зубьев 425 и камеру 428. На фиг. 4, зубья 425 могут находиться в поле зрения 429 камеры 428 в средней точке цикла копания и отвала, но только если ковш 420 находится относительно близко к камере 428. В таких вариантах осуществления селектор изображений 165 (фиг. 1) может быть настроен на захват изображений, когда ковш 420 входит в диапазон положений, соответствующих полю зрения 429 камеры 428.

Фиг. 5 представляет диаграмму потока данных выбора изображения 500, показывающую поток данных для примера процесса выбора изображения. В некоторых вариантах осуществления изобретения библиотека шаблонов 160 может предоставить шаблон 510 для селектора изображений 165. Как описано выше, шаблон «ковш-инструмент» 510 может быть выбран оператором рабочей машины 100 перед началом работы. В некоторых вариантах осуществления шаблон «ковш-инструмент» 510 предварительно загружен в программное обеспечение или микропрограмму компьютерной системы 110 для обнаружения износа. Когда рабочая машина 100 работает на стройплощадке, камера 128 может передавать видеопоток, содержащий множество изображений 530, на селектор изображений 165. Селектор изображений 165 может анализировать множество изображений, используя шаблон 510. Например, устройство выбора изображений 165 может использовать способы сопоставления шаблона компьютерного зрения, сверточные фильтры, анализ сегментации, обнаружение кромки или другие способы компьютерного зрения для сопоставления шаблона 510 с множеством изображений 530 для определения выбранного изображения 540 для дальнейшего анализа обнаружения износа.

На фиг. 5, шаблон 510 включает изображение как шаблона ковша 520, так и шаблонов зубьев 525. Шаблон ковша 520 может представлять изображение ковша 120 в положении и ориентации, соответствующей тому, как ковш 120 отображается в поле зрения камеры 128. Шаблоны зубьев 525 могут представлять собой новые, неизношенные или неиспользованные варианты зубьев 125.

В некоторых вариантах осуществления изобретения шаблон 510 включает информацию, обеспечивающую приблизительное расположение зубьев шаблона 527, которую анализатор изображений 170 может использовать для последующей идентификации отдельных зубьев 125 на выбранном изображении 540. Расположение зубьев шаблона 527 может включать смещения пикселей от одной позиции комбинированного изображения «ковш-инструмент» в шаблоне 510. Например, смещение может быть количеством пикселей вниз и вправо от крайнего левого верхнего угла ковша 520. В некоторых вариантах осуществления расположение зубьев шаблона 527 может быть абсолютным положением пикселей для зубьев шаблона 525, а не смещением от одного края или угла ковша 520. Расположение зубьев шаблона 527 может быть использовано анализатором изображений 170 для аппроксимации соответствующего расположения зубьев изображения 547 в выбранном изображении 540.

Фиг. 6 представляет диаграмму потока данных подсчета пикселей 600. Диаграмма потока данных подсчета пикселей 600 представляет пример потока данных, который может происходить в анализаторе изображений 170 для определения количества пикселей, связанных с зубьями 125. Хотя пример диаграммы потока данных 600 относится к зубьям 125, в различных вариантах осуществления изобретения предусмотрены и другая землеройная техника. В некоторых вариантах осуществления изобретения анализатор изображений 170 выполняет анализ сегментации компьютерного зрения на выбранном изображении 540, чтобы отделить захваченное изображение 610 «ковш-инструмент» от фона выбранного изображения 540. После того как изображение «ковш-инструмент» 610 было отделено от фона, анализатор изображений 170 может определить множество изображений зубьев 620, связанных с захваченным изображением «ковш-инструмент» 610 и, соответственно, выбранным изображением 540. Анализатор изображений 170 может использовать несколько способов для идентификации множества изображений зубьев 620. Например, как описано выше, анализатор изображений 170 может использовать местоположения зубьев шаблона 527 для определения приблизительных соответствующих местоположений зубьев изображения 547, а затем выделить область пикселей 630 заранее определенного размера, которая, вероятно, содержит изображение отдельного зуба. Например, область пикселей 630 может иметь размеры пятьдесят пикселей в высоту на тридцать пикселей в ширину, и анализатор изображений 170 может извлечь область пикселей 630 для каждого из соответствующих мест расположения зубьев изображения 547.

В некоторых вариантах осуществления изобретения анализатор изображений 170 может использовать дополнительное сопоставление шаблонов, сегментацию, сверточный фильтр или другие способы компьютерного зрения для сегментации множества изображений зубьев 620 из захваченного изображения «ковш-инструмент» 610. Например, анализатор изображений 170 может использовать шаблон одного зуба для идентификации множества изображений зубьев 620.

Согласно некоторым вариантам осуществления, анализатор изображений 170 может определить количество пикселей, связанных с множеством изображений зубьев 620. В некоторых вариантах осуществления анализатор изображений 170 может обнаружить пиксели 635, связанные с зубом, на выбранном изображении 540. Например, анализатор изображений 170 может определить, что пиксели 635 содержат четыреста тридцать шесть пикселей. Пиксели 635 могут обеспечивать визуальное представление или фрагмент фактического размера и габаритов одного из зубьев 125 рабочей машины 100, по которым анализатор износа может определить износ. Анализатор изображения 170 передает количество пикселей анализатору износа 175 для дальнейшего анализа.

Анализатор изображений 170 может также определить ожидаемое количество (например, ожидаемое число, ожидаемое местоположение, ожидаемую группировку и т.д.) пикселей, связанных с каждым зубом, на основе количества пикселей, представляющих шаблонные зубья 525 в шаблоне «ковш-инструмент» 510. Например, анализатор изображений может использовать способы компьютерного зрения, такие как, обнаружение кромки для определения ожидаемого края 640 неизношенного зуба на основе краев шаблонных зубьев 525. Количество пикселей в пределах ожидаемого края 640 может представлять собой ожидаемое количество пикселей для пикселей 635. В некоторых вариантах осуществления анализатор износа 175 может использовать ожидаемое количество пикселей и фактическое количество пикселей 635 для определения уровня износа зубьев в конкретный момент времени.

В некоторых вариантах осуществления анализатор износа 175 может вычислить коэффициент сходства между шаблонными зубьями 525 (которые представляют неизношенные инструменты) и множеством изображений зубьев 620, как описано выше. Оценка сходства может быть рассчитана на основе разницы между ожидаемым количеством пикселей для зубьев 125 и количеством фактических пикселей 635. В некоторых вариантах осуществления сверточный фильтр может быть использован для создания оценок сходства на основе сравнения шаблона 510 с выбранным изображением 540 или частями шаблона 510 (например, зубьев шаблона 525) с соответствующими участками выбранного изображения 540. В одном примере коэффициент сходства может быть нормализован по шкале от нуля до ста, при этом значения ниже двадцати представляют низкое сходство (например, зуб может отсутствовать или быть сломанным), значения выше 80 представляют в целом неизношенные зубья, а значения от 20 до 80 представляют различную степень износа. Хотя коэффициент сходства могут быть оценены в диапазоне от нуля до ста, в духе и объеме раскрытых вариантов осуществления изобретения допускаются и другие диапазоны.

Фиг. 7 представляет диаграмму примера графика тренда износа 700, показывающая отображение количества пикселей инструмента во времени, представленное в виде графиков 705. График тренда износа 700 может быть создан анализатором износа 175 в соответствии с некоторыми вариантами осуществления изобретения. График тренда износа 700 может включать ось количества пикселей 710 и ось времени 720. Хотя на графике тренда износа 700 в качестве вертикальной оси 710 показана ось количества пикселей, а в качестве горизонтальной оси — ось времени 720, в некоторых вариантах осуществления эти оси можно поменять местами. Ось подсчета пикселей 710 может увеличиваться на количество пикселей. Ось времени 720 может быть увеличена на любой период времени, например, на минуты, часы или дни. В некоторых вариантах осуществления анализатор износа 175 предоставляет код на панель управления оператора, который заставляет дисплей 133 отображать графическое представление графика тренда износа 700.

Хотя пример графика 700 тренда износа показан наглядно на фиг. 7, анализатору износа 175 не нужно создавать код для визуализации графика. В таких вариантах осуществления данные, показанные на графике тренда износа 700, могут быть сохранены в структуре данных или объекте, который анализатор износа 175 использует для определения трендов износа, уровней износа и/или потери зубьев 125. В таких вариантах осуществления график 700 тренда износа является визуальным вспомогательным средством, представленным для целей обсуждения в настоящем изобретении.

Как показано в примере на фиг. 7, график 700 тренда износа показывает графики 705 для четырех типов зубьев: зуб1 731, зуб2 732, зуб3 737 и зуб4 734. В визуальных представлениях графика тренда износа 700 график тренда износа 700 может содержать шпонку зуба 730, который определяет корреляцию между участками на графике тренда износа 700 и зубом1 731, зубом2 732, зубом3 737 и зубом4 734. Хотя график 700 тренда износа показывает данные, относящиеся к зубьям, в некоторых вариантах осуществления он может показывать графики, относящиеся к другим типам землеройной техники.

Согласно некоторым вариантам осуществления, анализатор износа 175 может определить тренд износа на основе графиков 705. Например, на фиг. 7 показан тренд износа 740 для участков 705 зуба4 734. В примере графика 700 тренда износа: тренд износа 740 является линейным, но некоторые зубья могут иметь нелинейный тренд износа в определенных областях применения. График тренда износа 700 может также включать пороговый уровень износа 750. Когда тренд износа 740 пересекается с порогом уровня износа 750, зуб, соответствующий тренду износа 740 (например, зуб4 734), износился настолько, что его необходимо заменить. В некоторых вариантах осуществления изобретения менеджер 180 оповещений может генерировать визуальное или звуковое оповещение, информирующее оператора рабочей машины 100 о том, что зуб нуждается в замене или сломался, что указывает на потерю зуба. В некоторых вариантах осуществления тренд износа 740 может использоваться для определения будущего момента времени, когда зуб может нуждаться в замене, на основании пересечения экстраполированной версии тренда износа 740 и порога износа 750.

Фиг. 8 представляет блок-схему, на которой показан пример процесса выбора изображения 800. В некоторых вариантах осуществления изобретения процесс 800 может выполняться селектором изображений 165 и анализатором изображений 170. Хотя в нижеследующем обсуждении процесс 800 описывается как выполняемый селектором изображений 165 и анализатором изображений 170, другие компоненты компьютерной системы обнаружения износа могут выполнять один или несколько блоков процесса 800 без отступления от сущности и объема настоящего изобретения.

Процесс 800 начинается с блока 810, где устройство выбора изображений захватывает видеопоток ковша рабочей машины. Видеопоток может включать множество изображений ковша рабочей машины и инструментов ковша (землеройной техники) (например, зубьев). В блоке 820 селектор изображений 165 сегментирует множество изображений из видеопотока с помощью шаблона «ковш-инструмент». Шаблон «ковш-инструмент», в соответствии с вышеприведенным обсуждением, включает изображение ковша с неизношенным инструментом для земляных работ. Устройство выбора изображений может выполнить блок 820 с использованием анализа сегментации, где изображения ковша и зуба из множества изображений видеоматериала сегментируются на основе фона. Кроме того, шаблон «ковш-инструмент» может выступать в качестве маски, которая применяется к множеству изображений для определения сходства между множеством изображений и шаблоном «ковш-инструмент». В некоторых вариантах осуществления изобретения устройство выбора изображений определяет коэффициент сходства между шаблоном «ковш-инструмент» и множеством изображений. На основании сходства селектор изображений 165 может выбрать изображение для анализа на предмет обнаружения износа в блоке 830.

В блоке 840 анализатор изображений определяет множество инструментов для земляных работ на изображении, выбранном в блоке 830. В некоторых вариантах осуществления изобретения анализатор изображений может идентифицировать множество инструментов для земляных работ, используя расположение инструментов в шаблоне «ковш-инструмент», как описано выше в отношении фиг. 5. После определения множества инструментов для земляных работ может быть определен уровень износа инструментов. Уровень износа может быть определен на основе различий между количеством пикселей неизношенных инструментов, изображенных на шаблоне «ковш-инструмент», и количеством пикселей, связанных с множеством инструментов для земляных работ. В качестве другого примера, блок 850 может быть выполнен путем сравнения сходства инструментов в шаблоне «ковш-инструмент» с множеством идентифицированных инструментов для земляных работ. В качестве другого примера, уровни износа могут быть определены в соответствии с процессом 900 анализа обнаружения износа, показанным на фиг. 9.

Фиг. 9 представляет блок-схему, на которой показан пример процесса 900 анализа обнаружения износа. В некоторых вариантах осуществления изобретения процесс 900 может быть выполнен одним или несколькими компонентами компьютерной системы 110 обнаружения износа. Хотя в следующем обсуждении процесс 900 описывается как выполняемый определенными компонентами компьютерной системы 110 обнаружения износа, различные компоненты компьютерной системы обнаружения износа могут выполнять один или несколько блоков процесса 900 без отступления от сущности и объема настоящего изобретения.

Процесс 900 начинается с блока 910, где устройство выбора изображений захватывает видеопоток ковша рабочей машины. Видеопоток может содержать множество изображений ковша рабочей машины и инструментов ковша землеройной техники. В блоке 920 устройство выбора изображений выбирает изображение из видеопотока для дальнейшей обработки обнаружения износа. В некоторых примерах устройство выбора изображений выполняет блок 920 с использованием шаблона «ковш-инструмент», как описано выше в отношении процесса выбора изображений 800. В некоторых вариантах осуществления селектор изображений 165 выбирает изображения на основе положения ковша рабочей машины в цикле копания и отвала. Например, селектор изображений может захватывать изображение видеопотока, когда ковш находится в оптимальном положении для того, чтобы камера захватила изображение ковша и его инструмента. В других примерах селектор изображений может использовать способы машинного обучения или нейронные сети для определения оптимальных изображений для анализа обнаружения износа. Один или несколько из вышеперечисленных способов могут быть объединены для выбора изображений в блоке 920.

В блоке 930 анализатор изображений определяет инструмент в выбранном изображении. Анализатор изображений может обнаружить инструмент в соответствии с вариантами осуществления изобретения, раскрытыми выше на фиг. 6 и 8. Как только анализатор изображения идентифицирует инструмент, анализатор изображения определяет количество пикселей для инструмента в блоке 940. В некоторых примерах количество пикселей поступает на анализатор износа. Анализатор износа сопоставляет количество пикселей для инструментов для земляных работ с определенным моментом времени в блоке 950. Экземпляр времени может быть абсолютным значением даты-времени (например, 1 октября 2020 года 16:04:32) или относительным временем, основанным на работе рабочей машины (например, количество рабочих секунд, минут, часов рабочей машины).

В блоке 960 анализатор износа определяет уровень износа для инструмента на основе текущего отображения времени пикселя и предыдущих отображений времени пикселя. Анализатор износа 175 может определить уровень износа путем построения линии или кривой наилучшего соответствия для отображения пикселей во времени. Если уровень износа выше порогового значения износа (блок 970: ДА) обработка возвращается к блоку 920. Если уровень износа ниже порогового значения износа (блок 970: НЕТ), диспетчер 180 может генерировать оповещение о том, что один или несколько инструментов требуют замены. В некоторых вариантах осуществления изобретения после создания оповещения обработка возвращается к блоку 920.

На протяжении всего вышеприведенного описания определенные компоненты компьютерной системы 110 для обнаружения износа были описаны для выполнения определенных операций. Однако в некоторых вариантах осуществления изобретения компьютерной системы 110 для обнаружения износа другие компоненты могут выполнять эти операции, не так, как описано выше. Кроме того, компьютерная система 110 для обнаружения износа может включать дополнительные компоненты или меньшее их количество, чем представлено выше в примерах осуществления изобретения. Специалисты в данной области оценят, что компьютерная система 110 для обнаружения износа не обязательно должна быть ограничена конкретными вариантами осуществления изобретения, раскрытыми выше.

Применение в промышленности

Описанные здесь системы и способы могут быть использованы в связи с работой рабочих машин на стройплощадке, которые производят выемку, перемещение, формирование, выстраивание в соответствии с рельефом местности и/или удаление материала, такого как грунт, камень, минералы или т.п. Эти рабочие машины могут быть оснащены ковшом, который используется для зачерпывания, выемки или отвала материала во время работы. Ковш может быть оснащен рядом инструментов для земляных работ, помогающих разрыхлять материал во время работы. Рабочие машины также могут включать систему, имеющую процессор и память, сконфигурированную для выполнения способов обнаружения износа в соответствии с примерами, описанными в настоящем документе. Система и способы могут обнаруживать износ компонентов рабочей машины, в частности землеройной техники. В некоторых примерах система и способы служат для захвата с камеры, связанной с рабочей машиной, видеопотока инструментаинструмента для земляных работ для обработки обнаружения износа. В некоторых примерах система и способы служат для выбора изображения из видеофайла, снятого камерой, для обработки с помощью шаблона изображения, который сравнивается с видеоизображениями. Шаблон может включать образец изображения ковша с неизношенным инструментом, связанным с рабочей машиной. Использование шаблона «ковш-инструмент», в отличие от шаблона одного неизношенного зуба, может привести к уменьшению ресурсов, необходимых для выбора изображения. Поскольку шаблон «ковш-инструмент» больше, чем шаблон с одним инструментом для земляных работ, для сравнения шаблона со снятыми изображениями потребуется меньше циклов обработки. Использование шаблона «ковш-инструмент» также может повысить точность отбора изображений и уменьшить количество ложных срабатываний. Поскольку скопления грязи, мусора или фрагментов горных пород на стройплощадке могут быть похожи по размеру и форме на зуб, традиционные системы обнаружения износа, использующие шаблон с одним зубом, могут принять такие материалы за инструмент для земляных работ, что приведет к ошибкам обработки или ложным срабатываниям. Таким образом, использование шаблона «ковш-инструмент» может уменьшить ошибки при обработке по сравнению с системой или способом компьютерного зрения, использующими шаблоны с одним зубом.

В некоторых примерах система и способы обеспечивают выбор изображения для обнаружения износа путем идентификации отдельных инструментов для земляных работ и сравнения количества пикселей инструментов на выбранном изображении с ожидаемым количеством пикселей на основе шаблона «ковш-инструмент». В некоторых примерах система и способы могут обеспечивать идентификацию отдельных инструментов на основе расположения неизношенного инструмента в шаблоне «ковш-инструмент» — они могут использовать приблизительное расположение инструментов для земляных работ относительно ковша на выбранном изображении на основе известного расположения инструментов в шаблоне ковш-инструмент, и стандартные способы компьютерного зрения (например, сверточный фильтр) могут быть использованы для идентификации конкретного инструмента на выбранном изображении. Благодаря сужению фокуса стандартных способов компьютерного зрения до приблизительного местоположения инструмента на выбранном изображении, время обработки сокращается.

В некоторых примерах система и способы определяют обнаружение износа путем захвата изображений инструмента в течение определенного периода времени. Например, система и способ могут захватывать множество изображений инструмента, в несколько моментов времени, в течение периода времени. Система и способы могут определять, используя примерные варианты осуществления изобретения, раскрытые в настоящем документе, количество пикселей инструмента во множестве моментов времени. Количество пикселей может быть сопоставлено с периодом времени, и система и способ могут определить тренд износа на основе скорости изменения количества пикселей. Система и способ могут обеспечить прогнозирование замены инструмента на основе тренда износа. Используя подсчет пикселей инструмента во времени, система и способы обеспечивают сокращение погрешностей при обнаружении износа, минимизируя влияние ложных срабатываний, так как такие ложные срабатывания являются отклонениями от тренда износа и представляют собой статистический шум для него. Кроме того, описываемые в этой заявке на изобретение система и способы требуют меньше вычислительных ресурсов, чем способы машинного обучения или нейронных сетей для определения износа компонентов машины. Таким образом, изобретенные система и способы являются более эффективными, чем системы обнаружения износа, которые полагаются на способы машинного обучения или нейронные сети для идентификации износа с использованием способов компьютерного зрения, поскольку они являются более точными и требуют меньше вычислительных ресурсов.

Хотя аспекты настоящего изобретения были подробно показаны и описаны со ссылкой на приведенные выше варианты осуществления, специалистам в данной области техники очевидно, что могут быть сделаны различные модификации раскрытых машин, систем и способов без отклонения от сущности и объема настоящего изобретения. Такие варианты осуществления следует понимать подпадающими в объем настоящего изобретения, как определяется прилагаемой формулой изобретения и ее пунктами.

Группа изобретений относится к системе и способу обнаружения износа или потери конструктивных элементов землеройной техники во времени с использованием компьютерного зрения. Технический результат – определение степени износа или потери зубьев и прогнозирование их замены. Система обнаружения износа или потери инструмента для земляных работ оснащена следующими компонентами: камерой, процессором, а также энергонезависимым машиночитаемым носителем информации, который хранит исполняемые инструкции. Исполняемые инструкции при исполнении процессором заставляют процессор выполнять следующие операции: захват видеопотока с камеры, видеопоток включает множество изображений «ковш-инструмент», связанных с ковшом рабочей машины, где ковш включает множество инструментов для земляных работ; сегментирование множества изображений с использованием шаблона «ковш-инструмент» для сегментирования множества изображений зубьев из захваченных изображений «ковш-инструмент», при этом шаблон «ковш-инструмент» включает шаблонное изображение ковша с множеством неизношенных инструментов для земляных работ; выбор изображения для анализа на предмет обнаружения износа на основе сегментации на множество изображений зубьев; идентификация по меньшей мере одного из множества инструментов для земляных работ на выбранном изображении множества изображений зубьев на основе по меньшей мере частично расположения множества неношеных инструментов в шаблоне «ковш-инструмент»; определение уровня износа или потерь для по меньшей мере одного из множества инструментов для земляных работ; в которой доступ к шаблону «ковш-инструмент» основан, по крайней мере частично, на вводе оператора, связанного с ковшом рабочей машины. 2 н. и 6 з.п. ф-лы, 9 ил.

1. Способ обнаружения износа или потери инструмента для земляных работ, содержащий:

захват видеопотока (530) с камеры (128) рабочей машины (100), видеопоток включает множество изображений «ковш-инструмент», связанных с ковшом (120) рабочей машины, при этом ковш включает множество инструментов для земляных работ (125);

сегментирование множества изображений с использованием шаблона «ковш-инструмент» (510) для сегментирования множества изображений зубьев из захваченных изображений «ковш-инструмент», при этом шаблон «ковш-инструмент» включает шаблонное изображение ковша с множеством неизношенных инструментов для земляных работ;

выбор изображения (540) для анализа на предмет обнаружения износа на основе сегментации на множество изображений зубьев;

идентификация по меньшей мере одного из множества инструментов для земляных работ на выбранном изображении множества изображений зубьев на основе по меньшей мере частично расположения (547) множества неношеных инструментов в шаблоне «ковш-инструмент»; и

определение уровня износа или потери по меньшей мере одного из множества инструментов для земляных работ;

в котором доступ к шаблону «ковш-инструмент» основан, по крайней мере частично, на вводе оператора, связанного с ковшом рабочей машины.

2. Способ по п. 1, в котором выбор изображения включает расчет баллов сходства для расположения пикселей шаблона «ковш-инструмент» по сравнению с пикселями множества изображений.

3. Способ по п. 1, в котором определение уровня износа или потери включает вычисление баллов сходства для местоположений пикселей, связанных с множеством неизношенных инструментов для земляных работ в шаблоне «ковш-инструмент», с соответствующими местоположениями пикселей, связанных с множеством инструментов для земляных работ на выбранном изображении.

4. Способ по п. 1, дополнительно содержащий генерирование предупреждения, когда уровень износа или потери указывает на поломку по меньшей мере одного из множества инструментов для земляных работ.

5. Система обнаружения износа или потери инструмента для земляных работ, оснащенная следующими компонентами:

камера (128);

процессор (140); а также

энергонезависимый машиночитаемый носитель информации (150), хранящий исполняемые инструкции, которые при исполнении процессором заставляют процессор выполнять следующие операции:

захват видеопотока (530) с камеры (128), видеопоток включает множество изображений «ковш-инструмент», связанных с ковшом рабочей машины, где ковш включает множество инструментов для земляных работ (125);

сегментирование множества изображений с использованием шаблона «ковш-инструмент» (510) для сегментирования множества изображений зубьев из захваченных изображений «ковш-инструмент», при этом шаблон «ковш-инструмент» включает шаблонное изображение ковша с множеством неизношенных инструментов для земляных работ;

выбор изображения (540) для анализа на предмет обнаружения износа на основе сегментации на множество изображений зубьев;

идентификация по меньшей мере одного из множества инструментов для земляных работ на выбранном изображении множества изображений зубьев на основе по меньшей мере частично расположения (547) множества неношеных инструментов в шаблоне «ковш-инструмент»;

определение уровня износа или потерь для по меньшей мере одного из множества инструментов для земляных работ;

в которой доступ к шаблону «ковш-инструмент» основан, по крайней мере частично, на вводе оператора, связанного с ковшом рабочей машины.

6. Система по п. 5, в которой выбор изображения для анализа на предмет обнаружения износа дополнительно включает вычисление баллов сходства для расположения пикселей шаблона «ковш-инструмент» по сравнению с пикселями множества изображений.

7. Система по п. 5, в которой определение уровня износа включает вычисление баллов сходства для местоположений пикселей, связанных с множеством неизношенных инструментов для земляных работ в шаблоне «ковш-инструмент», с соответствующими местоположениями пикселей, связанных с множеством инструментов для земляных работ на выбранном изображении.

8. Система по п. 5, в которой операции дополнительно включают в себя генерацию предупреждения, если уровень износа или потери указывают на поломку по меньшей мере одного из множества инструментов для земляных работ.