СИСТЕМА И СПОСОБ ОБНАРУЖЕНИЯ ИЗНОСА И ПОТЕРИ КОРОНКИ ДЛЯ ЗЕМЛЯНЫХ РАБОТ Российский патент 2024 года по МПК G06V10/25 G06T7/285 G06V20/56 

Область техники

Настоящее изобретение относится к системе и способу обнаружения износа объектов с течением времени, и, более конкретно, к системе и способу обнаружения износа в инструментах для земляных работ (GET) с течением времени, или их потерю, с использованием технологий компьютерного зрения.

Уровень техники

Машины могут использовать для выполнения различных заданий на рабочей площадке. Например, машины могут использоваться для выкапывания, перемещения, придания формы, придания контура и/или удаления материалов, присутствующих на рабочей площадке, таких как гравий, бетон, асфальт, грунт и/или другие материалы. Эти машины могут содержать ковш, используемый для сбора таких материалов, а ковш может содержать набор инструментов для земляных работ (GET), таких как зубы, для разрыхления материала. GET также может содержать кожухи, прикрепленные к ковшу между зубами для защиты края ковша. С течением времени GET изнашиваются и уменьшаются в размере, что снижает их эффективность, затрудняя этим сбор ковшом материала на рабочей площадке. GET также могут отламываться от ковша. Когда поломка GET остается необнаруженной, GET могут смешиваться с материалом на рабочей площадке, что может привести к повреждению расположенного дальше по ходу потока технологического оборудования, такого как дробилки или измельчители. Рабочие машины могут использовать системы обнаружения износа для идентификации изношенных или сломанных GET до того, как произойдет повреждение расположенного дальше по ходу потока технологического оборудования.

Попытка обеспечить систему обнаружения износа описана в публикации WIPO PCT WO 2019/227194 A1 («Публикация ’194»), опубликованной 5 декабря 2019 года. В частности, в публикации ’194 описаны способ и система для контроля условий рабочего приспособления тяжелого оборудования, такого как зуб ковша рабочей машины. Способ и система получают изображение рабочего приспособления и обрабатывают его, используя первую нейронную сеть, обученную идентифицировать нужные участки на изображении. Каждый нужный участок имеет соответствующее обозначение как критический участок или некритический участок. Встроенный процессор, расположенный возле тяжелого оборудования, дополнительно обрабатывает критические участки, используя вторую нейронную сеть, чтобы идентифицировать «признаки износа» на рабочем приспособлении. Затем система и способ сравнивают признаки износа с эталонным изображением для определения износа рабочего приспособления.

Публикация ’194, опирающаяся на нейронные сети и машинное обучение для идентификации уровней износа, может быть проблематичной, поскольку может быть трудно измерить износ GET в масштабе, позволяющем быстро обнаружить состояние износа и точно спланировать профилактическое обслуживание. Например, исключительное использование нейронных сетей и машинного обучения может обеспечить точность измерения только в пределах нескольких сантиметров, однако точность в диапазоне менее 5 миллиметров может быть желательной. В дополнение, технологии машинного обучения, такие как описанные в публикации ’194, могут быть склонны к большому количеству «ложных срабатываний» в отношении износа или потери GET, что делает их неэффективными. Описанные в данном документе системы и способы направлены на решение одной или более из этих проблем.

Сущность изобретения

В соответствии с первым аспектом способ обнаружения износа или потери инструментов для земляных работ (GET) включает прием, со стереоскопической камеры, связанной с рабочей машиной, левого изображения и правого изображения ковша рабочей машины. Ковш содержит по меньшей мере один GET. Способ дополнительно включает идентификацию первого нужного участка с левого изображения, соответствующего по меньшей мере одному GET, и идентификацию второго нужного участка с правого изображения, соответствующего по меньшей мере одному GET. Способ также включает генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку. Способ также включает определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края. На основании рассеянной стереоскопической диспаратности способ определяет уровень износа или потерю по меньшей мере одного GET.

В соответствии с дополнительным аспектом система обнаружения износа GET содержит стереоскопическую камеру, один или более процессоров и энергонезависимый машиночитаемый носитель, хранящий выполняемые команды. Выполняемые команды при выполнении процессором заставляют процессор выполнять операции, включающие прием со стереоскопической камеры левого изображения и правого изображения ковша рабочей машины. Ковш содержит по меньшей мере один GET. Операции также включают идентификацию первого нужного участка с левого изображения, соответствующего по меньшей мере одному GET, и идентификацию второго нужного участка с правого изображения, соответствующего по меньшей мере одному GET. Операции также включают генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку. Операции дополнительно включают определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края. На основании рассеянной стереоскопической диспаратности процессор определяет уровень износа или потерю по меньшей мере одного GET.

В соответствии с другим аспектом рабочая машина содержит левый датчик черно-белого изображения, правый датчик черно-белого изображения и датчик цветного изображения. Рабочая машина также содержит ковш, имеющий по меньшей мере один инструмент для земляных работ (GET), один или более процессоров; а также энергонезависимый машиночитаемый носитель, хранящий выполняемые команды, которые, при выполнении одним или более процессорами, заставляют один или более процессоров выполнять операции. Операции могут включать прием левого изображения ковша, зафиксированного левым датчиком черно-белого изображения, правого изображения ковша, зафиксированного левым датчиком черно-белого изображения, и цветного изображения ковша, зафиксированного датчиком цветного изображения со стереоскопической камеры. Операции также включают идентификацию первого нужного участка c левого изображения и второго нужного участка c правого изображения путем применения основанного на глубоком обучении алгоритма обнаружения GET для левого изображения и правого изображения, а также генерирования карты плотной стереоскопической диспаратности для левого изображения и правого изображения. Операции также включают генерирование цифрового изображения левого края, соответствующего левому нужному участку, и цифрового изображения правого края, соответствующего правому нужному участку, с использованием технологий обнаружения края по величине градиента. Операции также включают определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края, а также определение уровня износа или потери для по меньшей мере одного GET на основании рассеянной стереоскопической диспаратности.

Краткое описание графических материалов

Подробное описание изложено со ссылкой на сопроводительные фигуры. На фигурах крайняя левая цифра ссылочного номера идентифицирует фигуру, на которой ссылочный номер появляется впервые. Одинаковые ссылочные номера на разных фигурах указывают на подобные или идентичные элементы.

На фиг. 1 представлена блок-схема, на которой изображен схематический вид иллюстративной машины, содержащей иллюстративную систему для обнаружения износа в GET.

На фиг. 2 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.

На фиг. 3 представлено изображение, на котором показан схематический вид сбоку других иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.

На фиг. 4 представлено изображение, на котором показан схематический вид сбоку других иллюстративных окружающих условий, имеющих иллюстративную машину, содержащую иллюстративную систему для обнаружения износа в GET.

На фиг. 5 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий компьютерного зрения.

На фиг. 6 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий глубокого обучения.

На фиг. 7 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий компьютерного зрения.

На фиг. 8 представлена схема потока данных изображения, на которой изображен иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий глубокого обучения.

На фиг. 9 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием технологий компьютерного зрения.

На фиг. 10 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием технологий глубокого обучения.

На фиг. 11 представлен иллюстративный процесс для обнаружения износа в иллюстративных окружающих условиях с использованием комбинирования компьютерного зрения и технологий глубокого обучения.

Подробное описание

Настоящее изобретение в целом касается систем и способов обнаружения износа компонентов рабочей машины в окружающих условиях, таких как рабочая площадка, с использованием технологий компьютерного зрения. В некоторых примерах стереоскопическая камера (или «стереокамера»), связанная с рабочей машиной, фиксирует изображение компонента рабочей машины. Видео анализируется компьютерной системой обнаружения износа, связанной с рабочей машиной, которая может быть расположена внутри стереокамеры или за пределами стереокамеры, для обнаружения износа компонента. Компонент может представлять собой один или более инструментов для земляных работ (GET) ковша рабочей машины, в качестве одного примера. Стереокамера фиксирует левое изображение и правое изображение, включая GET, а компьютерная система обнаружения износа обрабатывает изображения с использованием стереоскопических технологий компьютерного зрения для идентификации нужной области как левого изображения, так и правого изображения, соответствующего GET. В дополнение или в качестве альтернативы, может быть использован основанный на глубоком обучении алгоритм обнаружения GET, обученный для идентификации нужной области как на левом, так и на правом изображениях. После того, как компьютерная система обнаружения износа идентифицирует нужные участки, как для левого изображения, так и для правого изображения, она дополнительно обрабатывает нужные участки для генерирования связанных с GET краев. Компьютерная система обнаружения износа определяет рассеянную стереоскопическую диспаратность с использованием цифрового изображения левого края и цифрового изображения правого края для определения износа или потери GET на основании количества пикселей, заключенных внутри рассеянной стереоскопической диспаратности, путем сравнения рассеянной стереоскопической диспаратности с ранее определенной рассеянной стереоскопической диспаратностью таких же GET или путем сравнения рассеянной стереоскопической диспаратности с эталонным изображением. Благодаря использованию рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края, системы и способы, раскрытые в данном документе, могут точно измерять износ или потерю GET на уровнях точности менее 5 мм.

На фиг. 1 представлена блок-схема, на которой изображен схематический вид иллюстративной рабочей машины 100, содержащей иллюстративную компьютерную систему 110 обнаружения износа. Хотя на фиг. 1 изображена рабочая машина 100 в виде гидравлического карьерного экскаватора, в других примерах рабочая машина 100 может предусматривать любую машину, которая перемещается, оформляет, копает, или извлекает материал, такой как почва, камень или минералы. Как показано на фиг. 1, рабочая машина 100 может содержать ковш 120, прикрепленный к плечу 122. Ковш 120 может содержать один или более инструментов для земляных работ (GET) 125, таких как зубы, которые помогают рабочей машине 100 в разрыхлении материала. Хотя примеры, приведенные в настоящем изобретении, как правило, ссылаются на GET 125 как на зубы, другие типы GET рассматриваются, как находящиеся в рамках объема вариантов осуществления, предусмотренных настоящим изобретением. Например, GET могут включать межзубьевые сегменты, защитные элементы края, адаптеры, защитные элементы рыхлителей, режущие края, защитные элементы боковин, наконечники или любой другой инструмент, связанный с рабочей машиной, который с течением времени изнашивается из-за трения с материалом рабочей площадки.

Рабочая машина 100 может также содержать стереокамеру 128. Камера 128 имеет область 129 наблюдения, направленную на ковш 120 и GET 125. Стереокамера 128 содержит датчик левого изображения и датчик правого изображения, которые расположены на расстоянии друг от друга для фиксации стереоскопического изображения объектов внутри области 129 наблюдения, такой как ковш 120 и GET 125. В некоторых вариантах осуществления датчик левого изображения и датчик правого изображения фиксируют черно-белые изображения. Стереокамера 128 может также содержать датчик цветного изображения для фиксации цветного изображения объектов внутри области 129 наблюдения. В некоторых вариантах осуществления камера 128 выводит цифровые изображения или рабочая машина 100 может содержать преобразователь аналогового сигнала в цифровой, расположенный между камерой 128 и компьютерной системой 110 обнаружения износа, для преобразования аналоговых изображений в цифровые изображения перед их приемом компьютерной системой 110 обнаружения износа.

По мере того, как рабочая машина 100 работает на рабочей площадке, она может перемещать плечо 122 для расположения ковша 120 для перемещения или копания материала на рабочей площадке, как части цикла копания-сбрасывания. По мере того, как рабочая машина 100 располагает ковш 120 во время цикла копания-сбрасывания, ковш 120 может перемещаться в область наблюдения 129 камеры 128 и из нее. Камера 128 может быть расположена так, чтобы она имела беспрепятственный обзор GET 125 во время цикла копания-сбрасывания. Например, камера 128 может быть расположена на рабочей машине 100 так, чтобы ковш 120 и GET 125 были видимы в тот момент, когда ковш 120 выгружает материал в пределах цикла копания-сбрасывания. В качестве другого примера, камера 128 может быть расположена так, что ковш 120 попадает в ее область наблюдения, когда плечо 122 полностью выдвинуто или полностью сжато в пределах цикла копания-сбрасывания. Как объясняется ниже в отношении фиг. 2-4, положение камеры 128 может меняться в зависимости от типа рабочей машины 100 и особенностей, связанных с ее рабочей площадкой.

В соответствии с некоторыми вариантами осуществления, рабочая машина 100 может содержать панель 130 управления оператора. Панель 130 управления оператора может содержать дисплей 133, который выдает выходной сигнал для оператора рабочей машины 100 так, чтобы оператор мог получать информацию о состоянии или сигналы тревоги, связанные с компьютерной системой 110 обнаружения износа. Дисплей 133 может включать жидкокристаллический дисплей (LCD), светодиодный дисплей (LED), дисплей на катодно-лучевой трубке (CRT) или другой тип дисплея, известный в данной области техники. В некоторых примерах дисплей 133 может содержать аудиовыходы, такие как динамики или порты для наушников или периферийных динамиков. Дисплей 133 может также содержать устройства звукового входа, такие как микрофон или порты для периферийных микрофонов. Дисплей 133 в некоторых вариантах осуществления может содержать чувствительный к прикосновению экран, который также может выступать в качестве устройства ввода.

В некоторых вариантах осуществления панель 130 управления оператора также может содержать клавиатуру 137. Клавиатура 137 может обеспечивать возможность ввода данных в компьютерную систему 110 обнаружения износа. Клавиатура 137 может содержать несколько кнопок, позволяющих оператору рабочей машины 100 обеспечивать ввод данных в компьютерную систему 110 обнаружения износа. Например, оператор может нажимать кнопки клавиатуры 137 для выбора или ввода типа рабочей машины 100, ковша 120, и/или GET 125 в соответствии с примерами настоящего изобретения. Клавиатура 127 может быть невиртуальной (например, содержащей физически нажимаемые клавиши) или клавиатура 127 может быть виртуальной клавиатурой, показанной на сенсорно-тактильном варианте осуществления дисплея 133.

Как показано на фиг. 1, компьютерная система 110 обнаружения износа может содержать один или более процессоров 140. Процессор (процессоры) 140 может включать один или более из центрального процессорного устройства (CPU), графического процессорного устройства (GPU), программируемой пользователем вентильной матрицы (FPGA), некоторых сочетаний CPU, GPU, или FPGA, или любого другого типа процессорного устройства. Процессор (процессоры) 140 может иметь целый ряд арифметико-логических устройств (ALU), которые выполняют арифметические и логические операции, а также один или более блоков управления (CU), которые извлекают команды и хранимое содержимое из кэш-памяти процессора, а затем выполняют эти команды, обращаясь, при необходимости, к ALU во время выполнения программы. Процессор (процессоры) 140 может также быть ответственным за выполнение драйверов и других выполняемых компьютером команд для приложений, программ или процессов, хранящихся в памяти 150, которые могут быть связаны с обычными типами энергозависимой (RAM) и/или энергонезависимой (ROM) памяти.

В некоторых вариантах осуществления компьютерная система 110 обнаружения износа может содержать память 150. Память 150 может включать системную память, которая может быть энергозависимой (например, RAM), энергонезависимой (например, ROM, флэш-память и т.д.) или некоторой их комбинацией. Память 150 может дополнительно включать энергонезависимый машиночитаемый носитель, такой как энергозависимый и энергонезависимый, съемный и несъемный носитель, реализованный в любом методе или технологии хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Системная память, съемный носитель и несъемный носитель являются примерами энергонезависимого машиночитаемого носителя. Примеры энергонезависимых машиночитаемых носителей включают, но без ограничения, RAM, ROM, EEPROM, флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другие оптические устройства хранения данных, магнитные кассеты, магнитную ленту, накопитель на магнитных дисках или другие магнитные запоминающие устройства, или любой другой энергонезависимый носитель, который может быть использован для хранения необходимой информации и к которому может получить доступ компьютерная система 110 обнаружения износа.

Память 150 может хранить данные, включая выполняемые компьютером команды, для компьютерной системы 110 обнаружения износа, как описано в данном документе. Например, в памяти 150 может храниться один или более компонентов компьютерной системы 110 обнаружения износа, такие как библиотека 160 физических параметров, анализатор 170 изображения, анализатор 175 износа и диспетчер 180 оповещений. В памяти 150 также могут храниться дополнительные компоненты, модули или другой код, исполняемый процессором (процессорами) 140 для обеспечения работы компьютерной системы 110 обнаружения износа. Например, память 150 может содержать код, связанный с функциями ввода/вывода, программными драйверами, операционными системами или другими компонентами.

В соответствии с некоторыми вариантами осуществления, компоненты компьютерной системы 110 обнаружения износа могут быть расположены внутри камеры 128. Например, камера 128 может содержать один или более процессоров 140 и/или память 150. В дополнение или в качестве альтернативы, отдельные компоненты компьютерной системы 110 обнаружения износа могут быть расположены на рабочей машине 100 и за пределами камеры 128. Например, и рабочая машина 100, и камера 128 могут содержать один или более процессоров 140 или память 150, или один или более процессоров 140 или память 150 могут быть расположены полностью за пределами камеры 128, но внутри рабочей машины 100.

Библиотека 160 физических параметров может включать наборы физических параметров, связанные с рабочей машиной 100, ковшом 120 и/или GET 125. Например, в качестве нескольких примеров, библиотека 160 физических параметров может включать данные измерений, связанные с размером ковша 120, формой ковша 120, размером GET 125, формой GET 125, а также пространственным соотношением между GET 125 и ковшом 120. Библиотека 160 физических параметров может также включать параметры, связанные с размером и формой GET 125 в новом или неизношенном состоянии, и параметрами, связанными с размером и формой GET 125 при достижении ими предельно допустимого износа.

Библиотека 160 физических параметров может также включать шаблоны или эталонные изображения, связанные с комбинацией ковша 120 и GET 125 (например, шаблон ковш-инструмент). Например, для рабочей машины 100 один из шаблонов, хранящихся в библиотеке 160 физических параметров, может включать изображение ковша 120 с GET 125, поскольку предполагается, что ковш 120 будет расположен в области наблюдения камеры 128. Шаблоны ковш-инструмент могут быть, когда GET 125 не изношены (например, неизношенные или предполагаемые края) или когда они достигли предельно допустимого износа (например, пороговый край). Библиотека 160 физических параметров может также включать другую информацию, связанную с износом GET 125, чтобы помочь анализатору 175 износа определить, когда GET износились до такой степени, что требуется их замена. Данные об износе, связанные с GET 125, могут быть представлены в виде фактических измерений (например, метрических или имперских размеров) или в виде значений пикселей.

Библиотека 160 физических параметров может включать множество наборов физических параметров, где каждый набор физических параметров соответствует рабочей машине, ковшу, GET или их комбинации. Во время работы оператор может использовать панель 130 управления оператора для выбора набора физических параметров из библиотеки 160 физических параметров, соответствующих ковшу 120 и GET 125, или рабочей машине 100. Например, если рабочая машина 100 представляет собой гидравлический карьерный экскаватор с номером модели «6015B», оператор может использовать панель 130 управления оператора для ввода номера модели «6015B», и компьютерная система 110 обнаружения износа может загрузить в память 150 набор физических параметров, соответствующий модели 6015B гидравлического карьерного экскаватора, из библиотеки физических параметров 160. В некоторых примерах список шаблонов, доступных в библиотеке 160 физических параметров, может быть показан на дисплее 133 при включении или сбросе компьютерной системы 110 обнаружения износа, и оператор может выбрать один из наборов физических параметров из списка для работы в зависимости от номера модели рабочей машины 100, типа ковша 120 или типа GET 125.

В некоторых вариантах осуществления оператор может разместить ковш 120 и GET 125 в области 129 наблюдения камеры 128 в начале рабочей смены и заставить компьютерную систему 110 обнаружения износа зафиксировать изображение ковша 120 и GET 125 с помощью ввода данных на панели 130 управления оператора. Затем компьютерная система 110 обнаружения износа может выполнить процесс сопоставления изображений, чтобы сопоставить ковш 120 и GET 125 с набором физических параметров, и настроить себя на процессы обнаружения износа и обработки изображений, раскрытые в данном документе, на основе сопоставленного набора физических параметров.

Анализатор 170 изображения может быть выполнен с возможностью анализа изображений, зафиксированных камерой 128, с целью идентификации GET 125 на этих изображениях и измерения износа GET 125 на основе обработанных версий этих изображений. Например, анализатор 170 изображения может получать стереоскопические изображения с камеры 128 в виде левых выровненных изображений (зафиксированных с помощью левого датчика изображения камеры 128) и правого выровненного изображения (зафиксированного с помощью правого датчика изображения камеры 128). Анализатор 170 изображения может выполнять различные технологии компьютерного зрения на левом выровненном изображении и правом уточненном изображении для идентификации или определения нужных участков в них, соответствующих GET 125.

В одном варианте осуществления анализатор 170 изображения может создать карту плотной стереоскопической диспаратности на основе левого выровненного изображения и правого выровненного изображения. Анализатор изображения может делить на сегменты карту плотной стереоскопической диспаратности для идентификации нужных участков. В дополнение, анализатор 170 изображения может также создавать облако 3D-точек на основе карты плотной стереоскопической диспаратности и делить на сегменты облако 3D-точек для идентификации нужных участков.

После того как анализатор 170 изображения выделит нужные участки, он может дополнительно обработать их для создания цифрового изображения левого края, соответствующего левому выровненному изображению, и цифрового изображения правого края, соответствующего правому выровненному изображению. Анализатор 170 изображения может использовать поисковое обнаружение края на основе величины градиента, но в других вариантах осуществления для создания цифрового изображения левого края и цифрового изображения правого края могут быть использованы другие технологии обнаружения края, используемые в области компьютерного зрения (например, технологии обнаружения края на основе нулевого пересечения).

В дополнение к технологиям компьютерного зрения или в качестве альтернативы технологиям компьютерного зрения, анализатор 170 изображения может также использовать технологии глубокого обучения или машинного обучения для идентификации нужных участков в левых выровненных изображениях и правых выровненных изображениях, зафиксированных камерой 128. Например, анализатор 170 изображения может использовать основанный на глубоком обучении алгоритм обнаружения GET, который использует нейронную сеть, обученную определять нужные участки на основе совокупности изображений, на которых были отмечены отдельные GET, группы GET или комбинации GET и ковша. Анализатор 170 изображения может также использовать основанный на глубоком обучении алгоритм определения местоположения GET, который использует нейронную сеть, обученную определять местоположение GET на изображении. Алгоритм определения местоположения GET был обучен на совокупности изображений, на которых были отмечены такие отдельные GET. После того как алгоритм определения местоположения GET идентифицирует отдельные GET на изображении, он выдает соответствующее местоположение GET. Например, алгоритм определения местоположения GET может выдавать пиксельное местоположение или выход ограничительной рамки, связанный с местоположением GET.

В некоторых примерах анализатор 170 изображений может детализировать оценки краев GET и/или идентифицировать отдельные GET 125, используя предполагаемое местоположение GET 125 в зафиксированном изображении. Например, анализатор 170 изображения может знать предполагаемое положение GET 125 относительно ковша 120 на основе набора физических параметров, хранящихся в библиотеке 160 физических параметров, соответствующих типу используемых ковша 120 и GET 125. Используя эту информацию, анализатор 170 изображения может перейти к предполагаемому местоположению на выбранном изображении и зафиксировать пиксельный участок, расположенный вблизи зубов. Затем пиксельный участок может быть использована для дальнейшей идентификации зубца на основе технологий компьютерного зрения, таких как применение фильтра свертки, анализ сегментации, обнаружение края или анализ силы/темноты пикселей в области пикселей. В некоторых вариантах осуществления анализатор 170 изображения может использовать отдельный шаблон зуба для применения к пиксельному участку с целью дальнейшей детализации местоположения зуба с помощью технологий компьютерного зрения. Анализатор 170 изображения может дополнительно детализировать края, используя технологии динамического программирования. Технологии динамического программирования могут включать сглаживание на основе силы края, близости края к отверстию или участку нечеткости на карте плотной стереоскопической диспаратности, или другие технологии оптимизации обнаружения края. Анализатор 170 изображения также может использовать результаты работы алгоритма определения местоположения GET для получения уверенности в определении местоположения GET и дальнейшей детализации оценок края на основе результатов работы алгоритма определения местоположения GET.

Анализатор 170 изображения может также создавать рассеянную стереоскопическую диспаратность, которая передается анализатору 175 износа так, чтобы анализатор 175 износа мог определить износ в GET 125. В некоторых вариантах осуществления анализатор 170 изображения создал рассеянную стереоскопическую диспаратность между цифровым изображением левого края (связанного с левым выровненным изображением) и цифровым изображением правого края (связанным с правым выровненным изображением), и эта диспаратность используется анализатором 175 износа. В качестве альтернативы рассеянная стереоскопическая диспаратность может быть рассчитана на основе первого изображения нужной области (связанного с левым выровненным изображением) и второго изображения нужной области (связанного с правым выровненным изображением), при этом анализатор 170 изображения может обнаружить край на основе изображения рассеянной стереоскопической диспаратности.

Анализатор 175 износа может быть выполнен с возможностью анализа рассеянной стереоскопической диспаратности, сгенерированной анализатором 170 изображения, на предмет износа. Например, набор физических параметров, связанный с ковшом 120 и GET 125, может включать предполагаемые данные, связанные с неизношенной GET 125, или набором неизношенных GET 125, который был откалиброван на основе предполагаемого фиксирования изображения камерой 128. Предполагаемые данные могут быть в виде пикселей, фактических измерений или изображения края, связанного с неизношенной GET. После того как анализатор 175 износа получит рассеянную стереоскопическую диспаратность, он может определить данные измерений, связанные с GET 125, используемыми рабочей машиной 100. Затем он может сравнить определенные данные измерений с предполагаемыми данными, соответствующими неизношенной версии GET 125, чтобы определить уровень износа или потерю для GET 125.

В некоторых вариантах осуществления количество пикселей, связанное с рассеянной стереоскопической диспаратностью, может быть использовано для измерения износа или потери GET. В качестве нескольких примеров, количество пикселей может включать площадь (например, общее количество пикселей для GET), высоту GET в пикселях, ширину GET в пикселях, сумму высоты и ширины GET. Способ определения количества пикселей может меняться в зависимости от формы и типа GET. Например, для GET, длина которой значительно превышает ширину, может использоваться количество пикселей по высоте, тогда как для GET, ширина которой значительно превышает длину, может использоваться количество пикселей по ширине. Могут быть использованы различные способы определения количества пикселей, без отступления от сущности и объема настоящего изобретения.

В некоторых вариантах осуществления анализатор 175 износа может вычислять показатель сходства между определенными данными измерений, извлеченными из рассеянной стереоскопической диспаратности, и предполагаемыми данными, соответствующими изношенному GET 125. Показатель сходства может отражать меру того, насколько хорошо определенные данные измерений GET 125 соответствуют ожидаемым данным набора физических параметров. Например, показатель сходства может включать использование способа определения сходства по методу пересечения союзов или коэффициента Жаккара. В некоторых вариантах осуществления для определения показателя сходства может быть использован коэффициент Дайса или метод суммарной оценки F1 определения сходства. Показатель сходства может также включать значение, отражающее процентное соотношение количества пикселей рассеянной стереоскопической диспаратности, перекрывающегося с предполагаемым изображением края. В некоторых вариантах осуществления показатель сходства может быть масштабирован или стандартизован от нуля до ста.

Показатель сходства может обеспечивать указание на износ GET 125. Например, низкий показатель (например, в диапазоне от 0 до 20) может указывать на то, что одна из GET 125 сломана или отсутствует, что свидетельствует о потере зуба. Высокий показатель (например, в диапазоне 80-100) может указывать на то, что зуб находится в хорошем состоянии и не нуждается в замене. Показатель, находящийся между низким и высоким показателями, может обеспечить степень износа зуба, причем более высокие показатели указывают на более длительный срок выполнения замены зуба по сравнению с более низким показателем.

В некоторых вариантах осуществления анализатор 175 износа может собирать данные измерений, связанные с GET 125, с течением времени и использовать собранные данные измерений для определения уровня износа GET 125 и тенденции износа GET 125. Например, рабочая машина 100 может работать на своей рабочей площадке в течение нескольких дней, выполняя определенную работу. По мере того как рабочая машина 100 перемещает материал во время работы, камера 128 передает стереоскопические изображения ковша 120 и GET 125 в компьютерную систему 110 обнаружения износа, а анализатор 170 изображения создает рассеянные стереоскопические диспаратности для GET 125. Анализатор 175 износа может отображать данные измерений (например, количество пикселей, метрические измерения, имперские измерения), связанные с GET 125, в несколько моментов времени в течение всего периода работы. Предполагается, что поскольку ковш 120 и GET 125 вступают в контакт с материалом на рабочей площадке, размер GET 125 будет уменьшаться вследствие износа. Соответственно, данные измерений, связанные с GET 125, подобным образом будут уменьшаться с течением времени, а количество пикселей с течением времени будет отражать тенденцию износа. Анализатор 172 износа может определить уровень износа для GET 125 в конкретный момент времени, используя тенденцию износа в конкретный момент времени. Уровень износа для GET 125 может указывать на необходимость замены GET 125 или он может указывать на потерю одного или более GET 125. В некоторых вариантах осуществления данные измерений, связанные с GET 125, могут быть сохранены в памяти 150 и применены к нескольким рабочим заданиям и нескольким рабочим площадкам, а тенденция износа может быть применима к сроку службы GET 125. В таких вариантах осуществления количество пикселей, связанных с GET 125, зафиксированных анализатором 175 износа, может быть сброшено при замене ковша 120 или GET 125, при этом анализатор 175 износа может возобновить сбор количества пикселей для GET 125 с нулевого момента времени.

Поскольку анализатор 175 износа определяет тенденцию износа на основе данных измерений для GET 125, измеренных с течением времени, анализатор 175 износа может также составлять прогнозы того, когда GET 125 может потребовать замены. Например, если анализатор 175 износа определил, что данные измерений, связанные с GET 125, показывают, что GET 125 теряют 1% ресурса за десять рабочих часов (поскольку данные измерений уменьшаются на 1% за десять рабочих часов), а GET 125 использовались в течение восьмисот рабочих часов, анализатор 175 износа может определить, что GET 125 необходимо заменить в течение 200 часов.

В некоторых вариантах осуществления компьютерная система 110 обнаружения износа может содержать диспетчер 180 оповещений. Диспетчер 180 оповещений может быть связан с анализатором 175 износа и может отслеживать тенденцию износа и уровень износа, определяемые анализатором 175 износа. Диспетчер 180 оповещений может предоставлять оповещения с сообщениями на панель 130 управления оператора на основе информации, установленной анализатором 175 износа. Например, когда уровень износа достигает порогового значения, диспетчер 180 оповещений может генерировать оповещение, которое отображается на дисплее 133 панели 130 управления оператора. Пороговое значение может соответствовать значениям, указывающим на экстремальный износ GET или, в некоторых случаях, о полной потере GET. Оповещение может указывать оператору рабочей машины 100 на необходимость замены одного или более GET 125. Пороговое значение износа может меняться среди вариантов осуществления и может зависеть от типа GET 125 и материала на рабочей площадке, с которым взаимодействуют GET 125.

Диспетчер 180 оповещений может также выдать оповещение о том, что GET 125 может потребовать замены в определенный момент в будущем, например, что GET 125 необходимо заменить в течение двух недель. Оповещение о замене может содержать информацию, связанную с прогнозами тенденции износа для GET 125. Например, предупреждение о замене может включать количественную оценку тенденции износа (например, износ GET 125 составляет 2% за рабочий день), количество времени использования зубов или ожидаемую дату или время достижения GET 125 порога износа на основе данных об использовании.

В некоторых вариантах осуществления диспетчер 180 оповещений может отслеживать тенденцию износа, определяемую анализатором 175 износа, и выдавать значение уровня износа на дисплей 133, чтобы проинформировать оператора рабочей машины 100 о текущем уровне износа. Например, если тенденция износа указывает на то, что GET 125 изношены на 60%, то на основании тенденции износа диспетчер 180 оповещений может выдать сообщение о том, что до замены GET 125 осталось 40% их ресурса. Дисплей 133 также может информировать оператора о том, что зуб сломался, указывать на потерю зуба (например, когда ресурс одного или более GET 125 составляет менее 20%).

Компьютерная система 110 обнаружения износа позволяет оператору рабочей машины 100 получать информацию о том, когда GET 125 требует замены, или сломалась, в результате существенного износа. Процессы, используемые компьютерной системой 110 обнаружения износа—которые более подробно описаны ниже—обеспечивают точное и четкое измерение износа GET в масштабе менее 5 мм, что позволяет оператору остановить работу рабочей машины 100 в случае очень сильного износа или потери GET. Процессы и технологии, используемые компьютерной системой 110 определения износа, могут применяться в различных рабочих машинах.

Например, на фиг. 2 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 200, в которых работает рабочая машина 201 с колесным погрузчиком. Рабочая машина 201 с колесным погрузчиком может содержать ковш 220 и один или более GET 225. Как показано на фиг. 2, камера 228 расположена так, что GET 225 и ковш 220 находятся в области наблюдения 229 камеры 228 во время конца сбрасывания цикла копания-сбрасывания. В результате камера 228 в таких вариантах осуществления может быть выполнена с возможностью фиксации изображений, когда ковш 220 находится в состоянии покоя в конце сбрасывания цикла копания-сбрасывания.

В качестве другого примера на фиг. 3 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 300, в которых работает рабочая машина 301 в виде гидравлического карьерного экскаватора. Рабочая машина 301 в виде гидравлического карьерного экскаватора может содержать ковш 320 и один или более GET 325. В отличие от положения камеры 228 в рабочей машине 201 с колесным погрузчиком, камера 328 расположена таким образом, что GET 325 находятся в области наблюдения 329 камеры 328 во время конца копания цикла копания-сбрасывания. Камера 328 может быть выполнена в таких вариантах осуществления с возможностью фиксации изображений, когда ковш 320 находится в состоянии покоя в конце копания цикла копания-сбрасывания.

В еще одном другом примере на фиг. 4 представлено изображение, на котором показан схематический вид сбоку иллюстративных окружающих условий 400, в которых работает рабочая машина 401 в виде канатного экскаватора с электрическим приводом. Рабочая машина 401 в виде канатного экскаватора с электрическим приводом может содержать ковш 420, один или более GET 425 и камеру 428. Как показано на фиг. 4, GET 425 могут быть в области наблюдения 429 камеры 428 в средней точке в цикле копания-сбрасывания, но когда ковш 420 находится относительно близко к камере 428. В таких вариантах осуществления камера 428 может быть выполнена с возможностью фиксации изображений, когда ковш 420 входит в различные положения, которые соответствуют области наблюдения 429 камеры 428.

На фиг. 5 изображена схема 500 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий компьютерного зрения. Схема 500 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время обнаружения нужных участков в изображениях, зафиксированных камерой 128, связанной с GET 125. Схема 500 потока данных изображения включает левое изображение 510 и правое изображение 520, зафиксированные камерой 128. Левое изображение 510 может быть выровненным изображением, зафиксированным левым датчиком изображения камеры 128. Правое изображение 520 может быть выровненным изображением, зафиксированным правым датчиком изображения камеры 128. Как левое изображение 510, так и правое изображение 520 содержат изображения ковша 120 и GET 125.

Анализатор 170 изображения может обрабатывать левое изображение 510 и правое изображение 520 для создания карты 530 диспаратности. Карта 530 диспаратности может быть картой плотной стереоскопической диспаратности, показывающей диспаратность между каждым пикселем левого изображения 510 и каждым пикселем правого изображения 520. Используя карту 530 диспаратности и набор 535 физических параметров, полученных из библиотеки 160 физических параметров и связанных с ковшом 120, GET 125 и/или рабочей машиной 100, анализатор 170 изображения может построить облако 540 3D-точек. Облако 540 3D-точек показывает диспаратность между левым изображением 510 и правым изображением 520 в трех измерениях. Анализатор 170 изображения может затем выполнить регулярный сегментный анализ облака 540 3D-точек для идентификации первого нужного участка 550, соответствующего левому изображению 510, и второго нужного участка 560, соответствующего правому изображению 520.

На фиг. 6 изображена схема 600 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения нужного участка с использованием технологий глубокого обучения. Подобно схеме 500 потока данных изображения, описанной выше, результат процесса обнаружения нужного участка будет первым нужным участком 550 и вторым нужным участком 560, соответствующими GET 125. Однако, в отличии от схемы 500 потока данных изображения, анализатор 170 изображения применяет технологии глубокого обучения для обнаружения первого нужного участка 550 и второго нужного участка 560.

Схема 600 потока данных изображения включает левое изображение 510 и правое изображение 520, зафиксированные камерой 128. Левое изображение 510 может быть выровненным изображением, зафиксированным левым датчиком изображения камеры 128. Правое изображение 520 может быть выровненным изображением, зафиксированным правым датчиком изображения камеры 128. Как левое изображение 510, так и правое изображение 520 содержат изображения ковша 120 и GET 125.

Анализатор 170 изображения может применять основанный на глубоком обучении алгоритм обнаружения GET к левому изображению 510. Основанный на глубоком обучении алгоритм обнаружения GET может использовать нейронную сеть, которая обучалась с помощью совокупности данных изображения, где GET были по отдельности идентифицированы и отмечены и/или группы GET были по отдельности идентифицированы и отмечены. Когда анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET к левому изображению 510, он может идентифицировать множество отдельных ограничивающих блоков 610 GET, содержащих изображения отдельных GET 125. В некоторых вариантах осуществления анализатор 170 изображения может также идентифицировать ограничивающий блок 615 группы GET, охватывающий отдельные ограничивающие блоки 610 GET. Аналогично, когда анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET к правому изображению 520, он может идентифицировать множество отдельных ограничивающих блоков 620 GET, содержащих изображения отдельных GET 125. В некоторых вариантах осуществления анализатор 170 изображения может также идентифицировать ограничивающий блок 625 группы GET для правого изображения 520, охватывающий отдельные ограничивающие блоки 620 GET. После того, как анализатор 170 изображения идентифицирует ограничивающий блок 615 группы GET, он может извлекать его пиксели в качестве первого нужного участка 550. Анализатор 170 изображения может также извлекать пиксели ограничивающего блока 625 группы GET в качестве второго нужного участка 560.

На фиг. 7 изображена схема 700 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий компьютерного зрения. Схема 700 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время генерирования результата, который в конечном итоге будет предоставлен анализатору 175 износа для обнаружения износа или потери GET 125. В некоторых вариантах осуществления генерируемый результат будет в виде рассеянного стереоскопического изображения.

Схема 700 потока данных изображения включает первый нужный участок 550 и второй нужный участок 560. Как первый нужный участок 550, так и второй нужный участок 560 могли быть сгенерированы анализатором 170 изображения, как описано выше в отношении либо фиг. 5, либо фиг. 6, т.е. анализатор 170 изображения мог сгенерировать первый нужный участок 550 и второй нужный участок 560 с использованием технологий компьютерного зрения или технологий глубокого обучения. В некоторых вариантах осуществления первый нужный участок 550 и второй нужный участок 560 могли быть сгенерированы с использованием комбинации технологий компьютерного зрения и технологий глубокого обучения.

Схема 700 потока данных изображения также включает недетализированное цифровое изображение 710 левого края. Анализатор 170 изображения может генерировать недетализированное цифровое изображение 710 левого края, применяя технологии обнаружения края с помощью компьютерного зрения к первому нужному участку 550. Технологии обнаружения края с помощью компьютерного зрения могут включать поисковые технологии обнаружения края, такие как технология обнаружения края на основе величины градиента. Технологии обнаружения края с помощью компьютерного зрения могут также включать технологии на основе нулевого пересечения. Анализатор 170 изображения может также выполнять этапы предварительной обработки перед генерированием недетализированного цифрового изображения 710 левого края, например, сглаживание по Гауссу. В некоторых вариантах осуществления анализатор 170 изображения может использовать датчик краев Кэнни или другие хорошо известные датчики краев в области компьютерного зрения. Аналогично, анализатор 170 изображения может генерировать недетализированное цифровое изображение 720 правого края, используя подобные технологии края с использованием компьютерного зрения.

В некоторых вариантах осуществления анализатор 170 изображения может снизить ошибки в недетализированном цифровом изображении 710 левого края и недетализированном цифровом изображении 720 правого края, выполняя динамическое программирование над обоими. Динамическое программирование может включать применение набора 535 физических параметров к ряду программ оптимизации для уменьшения ошибок. Программы оптимизации могут включать оценку прочности обнаруженного края, анализ того, находится ли обнаруженный край близко к отверстию или участку нечеткости на карте 530 диспаратности или содержится в нем, или где может предполагаться край на основании набора 535 физических параметров. Анализатор 170 изображения может затем выводить детализированное цифровое изображение 740 левого края и детализированное цифровое изображение 750 правого края на основании динамического программирования. Анализатор 170 изображения может затем создать рассеянную стереоскопическую диспаратность 760 путем вычисления рассеянной стереоскопической диспаратности между детализированным цифровым изображением 740 левого края и детализированным цифровым изображением 750 правого края. Анализатор 170 изображения может затем передать рассеянную стереоскопическую диспаратность 760 анализатору 175 износа для обнаружения потери на износ GET 125 в соответствии с раскрытыми вариантами осуществления.

На фиг. 8 изображена схема 800 потока данных изображения, на которой показан иллюстративный поток данных изображения для процесса обнаружения износа с использованием технологий глубокого обучения. Схема 800 потока данных изображения включает изображения, которые принимаются, обрабатываются и генерируются анализатором 170 изображения во время генерирования результата, который в конечном итоге будет предоставлен анализатору износа 175 для обнаружения износа или потери GET 125. Генерируемый результат может быть в виде рассеянного стереоскопического изображения или он может быть в виде информации о местоположении, соответствующей GET 125. Анализатор 170 изображения может использовать сгенерированный результат в любой форме для создания достоверности в краях, определенных на основе процесса, описанного на фиг. 8.

Схема 800 потока данных изображения включает первый нужный участок 550 и второй нужный участок 560. Как первый нужный участок 550, так и второй нужный участок 560 могли быть сгенерированы анализатором 170 изображения, как описано выше в отношении либо фиг. 5, либо фиг. 6, т.е. анализатор 170 изображения мог сгенерировать первый нужный участок 550 и второй нужный участок с использованием технологий компьютерного зрения или технологий глубокого обучения. В некоторых вариантах осуществления первый нужный участок 550 и второй нужный участок 560 могли быть сгенерированы с использованием комбинации технологий компьютерного зрения и технологий глубокого обучения.

Схема 800 потока данных изображения также включает цифровое изображение 810 левого края и цифровое изображение 820 правого края. Анализатор 170 изображения может генерировать цифровое изображение 810 левого края и цифровое изображение 820 правого края, используя технологии глубокого обучения. Например, анализатор 170 изображения может генерировать цифровое изображение 810 левого края и цифровое изображение 820 правого края с помощью основанного на глубоком обучении алгоритма определения местоположения GET. Основанный на глубоком обучении алгоритм определения местоположения GET может использовать нейронную сеть, которая обучалась, используя совокупность изображений, идентифицируя, где края групп GET 125 были отмечены и идентифицированы в целях обучения. В некоторых вариантах осуществления анализатор 170 изображения определяет местоположения края, соответствующего GET 125. В дополнение или в качестве альтернативы, анализатор 170 определяет местоположение отдельных GET 125.

В некоторых вариантах осуществления после того, как анализатор 170 изображения сгенерирует цифровое изображение 810 левого края и цифровое изображение 820 правого края, он может использовать местоположение любого из краев или их обоих в отношении нужного участка для построения достоверности в краях, созданных с использованием технологий компьютерного зрения, таких как описанные выше, в отношении схемы потока данных изображения. В некоторых примерах анализатор 170 изображения может дополнительно детализировать изображения края, которые он создает с использованием технологий компьютерного зрения с помощью результата основанного на глубоком обучении алгоритма определения местоположения GET, или в тех случаях, где результат алгоритма определения местоположения GET значительно отличается от изображений края, сгенерированных с помощью традиционных технологий компьютерного зрения, может полностью игнорировать изображения для обработки обнаружения износа.

В некоторых вариантах осуществления анализатор 170 изображения создает рассеянную стереоскопическую диспаратность 760 путем вычисления рассеянной стереоскопической диспаратности между цифровым изображением 810 левого края и цифровым изображением 820 правого края. Анализатор 170 изображения может затем передать рассеянную стереоскопическую диспаратность 760 анализатору 175 износа для обнаружения потери на износ GET 125 в соответствии с раскрытыми вариантами осуществления.

На фиг. 9 показана структурная схема, представляющая иллюстративный процесс 900 обнаружения износа с помощью компьютерного зрения, которое использует технологии компьютерного зрения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 900 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Процесс 900 в целом следует потоку данных изображения по фиг. 5 и фиг. 7 и должен толковаться в соответствии с описанием этих фигур. Хотя следующее обсуждение описывает аспекты процесса 900, выполняемые анализатором 170 изображения или анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 900 без отступления от сущности и объема настоящего изобретения.

Процесс 900 начинается с блока 910, где анализатор 170 изображения принимает левое изображение и правое изображение ковша 120 и GET 125. Левое изображение может быть зафиксировано левым датчиком изображения камеры 128, а правое изображение может быть зафиксировано правым датчиком изображения камеры 128. Как левое изображение, так и правое изображение может быть выровненными изображениями. В блоке 920 анализатор изображения может генерировать карту плотной стереоскопической диспаратности на основании диспаратности между пикселями левого изображения и правого изображения. Используя сгенерированную карту плотной стереоскопической диспаратности и набор физических параметров, связанных с ковшом 120 и GET 125, анализатор 170 изображения может генерировать облако 3D-точек, представляющее 3D-изображение ковша 120 и GET 125 в блоке 925. Из облака 3D-точек, анализатор 170 изображения может идентифицировать первый нужный участок, связанный с левым изображением, и второй нужный участок, связанный с правым изображением в блоке 940. Как отмечено выше, это можно сделать с помощью выполнения сегментного анализа облака 3D-точек, используя информацию из набора физических параметров, связанных с ковшом 120 и GET 125. Как первый нужный участок, так и второй нужный участок содержат изображения GET 125.

В блоке 950 анализатор 170 изображения может генерировать цифровое изображение левого края, связанное с первым нужным участком, и цифровое изображение правого края, связанное со вторым нужным участком. Цифровое изображение левого края и цифровое изображение правого края могут генерироваться, используя технологии обнаружения края с помощью компьютерного зрения в соответствии с раскрытыми вариантами осуществления. В блоке 955 анализатор 170 изображения может детализировать цифровое изображение левого края и цифровое изображение правого края, используя технологии динамического программирования и набор физических параметров, связанных с ковшом 120 и GET 125. Анализатор 170 изображения может затем определить рассеянную стереоскопическую диспаратность на основании цифрового изображения левого края или цифрового изображения правого края в блоке 970. В блоке 980 анализатор износа 175 может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1.

На фиг. 10 показана структурная схема, представляющая иллюстративный основанный на глубоком обучении процесс 1000 обнаружения износа, который использует технологии глубокого обучения или машинного обучения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 1000 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Процесс 1000 в целом следует процессам, описанным выше в отношении фиг. 6 и фиг. 8 и должен толковаться в соответствии с описанием этих фигур. Хотя следующее обсуждение описывает аспекты процесса 1000, выполняемые анализатором 170 изображения или анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 1000 без отступления от сущности и объема настоящего изобретения.

В блоке 1010 анализатор 170 изображения принимает стереоскопические изображения ковша 120 и GET 125. Стереоскопические изображения могут включать левое изображение, зафиксированное левым датчиком изображения камеры 128, и правое изображение, зафиксированное правым датчиком изображения камеры 128. Стереоскопические изображения могут также включать цветное изображение, зафиксированное датчиком цветного изображения камеры 128. Анализатор 170 изображения может использовать левое изображение, правое изображение и цветное изображение в блоке 1030 с помощью основанного на глубоком обучении алгоритме обнаружения GET для идентификации первого нужного участка, соответствующего левому изображению и второго нужного участка, соответствующего правому изображению. Использование цветного изображения может улучшить работу основанного на глубоком обучении алгоритма обнаружения GET в определенных вариантах осуществления.

В блоке 1060 анализатор 170 изображения определяет местоположение GET в первом нужном участке или втором нужном участке, используя основанный на глубоком обучении алгоритм определения местоположения GET. Основанный на глубоком обучении алгоритм определения местоположения GET может включать нейронную сеть, которая обучалась, используя совокупность изображений, где GET были отмечены в изображении. Маркировка может включать маркировку отдельных GET или групп GET. В некоторых вариантах осуществления основанный на глубоком обучении алгоритм GET анализирует первый нужный участок (соответствующий левому изображению) или второй нужный участок (соответствующий правому изображению) с помощью применения оцифрованных нужных участков как входных данных для нейронной сети, а выходные данные нейронной сети могут быть местоположениями пикселей GET в нужных участках или ограничивающими блоками, связанными с местоположениями GET в нужных участках. В некоторых вариантах осуществления основанный на глубоком обучении алгоритм определения местоположения GET может обнаруживать местоположение GET как в первом нужном участке, так и во втором нужном участке, тогда как в других он может использовать один из первого нужного участка или второго нужного участка. Обнаруживает ли основанный на глубоком обучении алгоритм определения местоположения GET местоположение GET в первом нужном участке, втором нужном участке или обоих, может меняться в зависимости от реализации, и может меняться в зависимости от типа GET, типа ковша или типа рабочей машины.

В некоторых вариантах осуществления в блоке 1060 основанный на глубоком обучении алгоритм определения местоположения GET выводит изображения края, соответствующие GET. Изображения края (например, цифровое изображение 810 левого края, цифровое изображение 820 правого края) может соответствовать контуру GET в первом нужном участке или втором нужном участке. В таких вариантах осуществления основанный на глубоком обучении алгоритм определения местоположения GET может включать нейронную сеть, которая обучалась, используя совокупность изображений, включающих определенную GET или GET, прикрепленные к ковшу, где края GET были отмечены. Основанный на глубоком обучении алгоритм GET анализирует первый нужный участок (соответствующий левому изображению) или второй нужный участок (соответствующий правому изображению) путем применения оцифрованных нужных участков в качестве входных данных для нейронной сети, а выходные данные нейронной сети могут включать цифровое изображение левого края, соответствующее первому нужному участку, и цифровое изображение правого края, соответствующее второму нужному участку.

В блоке 1070 анализатор 170 изображения может определять рассеянную стереоскопическую диспаратность. В вариантах осуществления, где основанный на глубоком обучении алгоритм определения местоположения GET выводит цифровое изображение левого края и цифровое изображение правого края в блоке 1060, анализатор 170 изображения может определять рассеянную стереоскопическую диспаратность между цифровым изображением левого края и цифровым изображением правого края. В вариантах осуществления, где основанный на глубоком обучении алгоритм определения местоположения GET выводит местоположения GET в первом нужном участке, втором нужном участке или обоих, анализатор 170 изображения может определить рассеянную стереоскопическую диспаратность, используя технологии компьютерного зрения (например, как описано выше в отношении блока 970 процесса 900) и может использовать выходные данные основанного на глубоком обучении алгоритма определения местоположения GET для создания достоверности или подтверждения точности цифрового изображения левого края и цифрового изображения правого края, сгенерированных с помощью технологий компьютерного зрения.

В блоке 1080 анализатор 175 износа может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1.

На фиг. 11 показана структурная схема, представляющая иллюстративный комбинированный процесс 1100 обнаружения износа, который использует комбинацию технологий глубокого обучения или машинного обучения для обнаружения износа GET 125. В некоторых вариантах осуществления процесс 1100 может быть выполнен анализатором 170 изображения и анализатором 175 износа. Хотя следующее обсуждение описывает аспекты процесса 1100, выполняемые анализатором 170 изображения и анализатором 175 износа, другие компоненты компьютерной системы 110 обнаружения износа могут выполнять один или более блоков процесса 1100 без отступления от сущности и объема настоящего изобретения.

В соответствии с некоторыми вариантами осуществления определенные блоки процесса 1100 выполняют параллельно и комбинируют для улучшения эффективности идентификации нужных участков и определения рассеянных стереоскопических диспаратностей. Многие блоки, показанные в процессе 1100, подобны блокам процесса 900 и 1000, описанных выше, при этом блоки, которые выполняют подобные операции, имеют одинаковые последние две цифры. Например, действие блока 1110 процесса 1100 подобно действию блока 910 процесса 900 и блока 1010 процесса 1000.

В блоке 1110 анализатор 170 изображения принимает стереоскопические изображения ковша 120 и GET 125. Анализатор 170 изображения затем выполняет один набор операций (блоки 1120, 1125), используя технологии компьютерного зрения, параллельно со вторым набором операций (блок 1130), используя технологии глубокого обучения для идентификации первого нужного участка, связанного с левым изображением стереоскопических изображений, и второго нужного участка, связанного с правым изображением стереоскопических изображений. Соответственно, в блоке 1120 анализатор 170 изображения генерирует карту плотной стереоскопической диспаратности на основании стереоскопических изображений подобно блоку 920 процесса 900. В блоке 1125 анализатор 170 изображения генерирует облако 3D-точек подобно блоку 925 процесса 900. В блоке 1130 анализатор 170 изображения применяет основанный на глубоком обучении алгоритм обнаружения GET на основании стереоскопических изображений подобно блоку 1030 процесса 1000.

Процесс 1100 затем продолжается до блока 1135, где анализатор 170 изображения объединяет результаты блоков 1120 и 1125 с результатом блока 1130. Анализатор 170 изображения может использовать технологии динамического программирования для генерирования оптимизированного первого нужного участка, соответствующего левому изображению, и оптимизированного второго нужного участка, соответствующего правому изображению. Например, анализатор 170 изображения может использовать набор физических параметров, описывающий пространственные отношения между ковшом 120 и GET 125 в комбинации с облаком 3D-точек и информацией, которая была выведена основанным на глубоком обучении алгоритмом обнаружения GET для определения более точного извлечения нужных участков. Используя объединенные результаты, анализатор 170 изображения может идентифицировать первый нужный участок и второй нужный участок в блоке 1140.

Процесс 1100 затем выполняет генерирование рассеянной стереоскопической диспаратности, используя как технологии компьютерного зрения, так и технологии глубокого обучения. Соответственно, в блоке 1150 анализатор 170 изображения генерирует цифровое изображение левого края и цифровое изображение правого края, используя технологии обнаружения края с помощью компьютерного зрения подобные тем, что были описаны выше в отношении блока 950 процесса 900. В блоке 1155 цифровое изображение левого края и цифровое изображение правого края являются детализированными, как описано выше в отношении блока 955 процесса 900. В блоке 1160 анализатор 170 изображения определяет местоположение GET с первым нужным участком или вторым нужным участком, используя основанный на глубоком обучении алгоритм определения местоположения GET, подобный тому, что описан выше в отношении блока 1060 процесса 1000.

В блоке 1170 анализатор 170 изображения использует детализированное цифровое изображение левого края и детализированное цифровое изображение правого края, определенные в блоке 1155, и результат блока 1160 для определения рассеянной стереоскопической диспаратности 1170, соответствующей форме и размеру GET 125. В некоторых вариантах осуществления анализатор 170 изображения может использовать набор физических параметров, связанный с ковшом 120 и GET 125, при выполнении операций в блоке 1170 для объединения информации между технологиями компьютерного зрения (блоки 1150 и 1155) и технологиями глубокого обучения (блок 1160). Например, анализатор 170 изображения может использовать ожидаемые размер и форму GET, относительное положение GET 125 к стороне ковша 120, зацепляющих GET 125, плавность или связность детализированного цифрового изображения левого края и детализированного цифрового изображения правого края (из блока 1155), местоположение GET в первом нужном участке или втором нужном участке (из блока 1160), и/или плавность или связность цифрового изображения левого края и цифрового изображения правого края (из блока 1160) для выполнения оптимизационного анализа и определения рассеянной стереоскопической диспаратности. В блоке 1180 анализатор износа 175 может определять уровень износа или потери одного или более GET 125, используя технологии, описанные выше в отношении фиг. 1.

В некоторых вариантах осуществления последовательность операций процесса 1100 может включать различные комбинации технологий компьютерного зрения или технологий глубокого обучения. Например, процесс 1100 может следовать последовательности операций процесса блока 1110, 1120, 1125, 1140, 1160, 1170, 1180 (т.е. не включая блоки 1130, 1135, 1150, и 1155). В качестве другого примера, процесс 1100 может следовать последовательности операций процесса блока 1110, 1130, 1140, 1150, 1155, 1170, 1180 (т.е., не включая блок 1120, 1125, 1135, и 1160). В дополнение, процесс 1100 может использовать технологии компьютерного зрения для идентификации нужных участков (блоки 1120 и 1125) и технологии глубокого обучения для идентификации цифрового изображения левого края и цифрового изображения правого края (блок 1160). И наоборот, процесс 1100 может использовать технологии глубокого обучения для идентификации нужных участков (блок 1130) и технологии компьютерного зрения (блоки 1150 и 1155) для идентификации цифрового изображения левого края и цифрового изображения правого края.

По всему вышеизложенному описанию определенные компоненты компьютерной системы 110 обнаружения износа были описаны для выполнения определенных операций. Но в некоторых вариантах осуществления компьютерной системы 110 обнаружения износа другие компоненты могут выполнять эти операции, отличные от того, что было описано выше. В дополнение, компьютерная система 110 обнаружения износа может содержать дополнительные компоненты или меньшее количество компонентов по сравнению с тем, что представлено выше в иллюстративных вариантах осуществления. Специалистам в данной области техники будет понятно, что компьютерная система 110 обнаружения износа необязательно должна быть ограничена конкретными вариантами осуществления, раскрытыми выше.

Промышленная применимость

Системы и способы, описанные в данном документе, можно использовать в сочетании с работой рабочих машин на рабочей площадке, которые выкапывают, перемещают, придают форму, придают контур, и/или удаляют материал, такой как грунт, камень, минералы, или т.п. Эти рабочие машины могут быть оснащены ковшом, который используется для зачерпывания, копания или сброса материала, пока он находится на рабочей площадке. Ковш может быть оснащен рядом инструментов для земляных работ (GET) для помощи в разрыхлении материала во время работы. Рабочие машины могут также содержать систему, имеющую процессор и запоминающее устройство, выполненные с возможностью выполнения способов обнаружения износа в соответствии с примерами, описанными в данном документе. Системы и способы могут обнаружить износ или потерю компонентов рабочей машины, таких как GET, поэтому операторы таких рабочих машин могут выполнить корректирующее действие прежде, чем может произойти выход из строя, повреждающий расположенное дальше по ходу потока технологическое оборудование.

В некоторых примерах системы и способы могут получать со стереоскопической камеры, связанной с рабочей машиной, стереоскопические изображения компонента рабочей машины для обработки обнаружения износа. Стереоскопические изображения могут быть зафиксированы в виде изображения левой стороны и изображения правой стороны.

В некоторых примерах система и способы могут обрабатывать изображение левой стороны и изображение правой стороны используя технологии компьютерного зрения и с помощью создания карты плотной стереоскопической диспаратности. Карта плотной стереоскопической диспаратности может быть разделена на сегменты для идентификации нужных участков в изображениях, связанных с GET. Система и способы могут дополнительно обрабатывать нужные участки, используя технологии компьютерного зрения - такие как технологии обнаружения края по величине градиента - для идентификации цифрового изображения левого края и цифрового изображения правого края, очерчивая форму GET. Системы и способы могут затем определить рассеянную стереоскопическую диспаратность, используя цифровое изображение левого края и цифровое изображение правого края, на основе которых может быть измерена GET, зафиксированная в изображении левой стороны и изображении правой стороны. Износ GET или ее потеря может быть определена на основании этих измерений.

Использование рассеянной стереоскопической диспаратности для определения размера GET может увеличить точность измерений износа GET, так как она может измерять износ с точностью менее 5 мм. Таким образом, системы и способы, использующие описанные выше технологии имеют преимущества по сравнению с системами, которые не используют рассеянную стереоскопическую диспаратность, которые могут обнаружить износ только на уровне детализации порядка сантиметров или десятков сантиметров. Более точное обнаружение износа может снизить вероятность критической потери или износа GET, которые могут привести к повреждению расположенных дальше по ходу потока обрабатывающих машин.

В некоторых примерах система и способы могут обрабатывать изображение левой стороны и изображение правой стороны используя технологии глубокого обучения. Системы и способы могут использовать основанный на глубоком обучении алгоритм обнаружения GET, использующий нейронную сеть, которая обучалась для идентификации нужных участков в изображении левой стороны и изображении правой стороны, соответствующих GET. После того, как нужные участки были обнаружены, может быть определена рассеянная стереоскопическая диспаратность между цифровым изображением левого края, соответствующим изображению левой стороны, и цифровым изображением правого края, соответствующим изображению правой стороны. Как отмечено выше, использование рассеянной стереоскопической диспаратности увеличивает точность измерений износа.

В других примерах системы и способы могут обрабатывать изображение левой стороны и изображение правой стороны, используя как технологию компьютерного зрения, так и технологию глубокого обучения, и в некоторых случаях применяя эти технологии параллельно. В таких примерах системы и способы могут увеличить точность измерений GET с помощью объединения результатов каждой технологии для нахождения наилучшего случая измерения GET. С помощью использования объединенных выходных данных, точность измерений GET может быть увеличена по сравнению с традиционными системами, которые не используют рассеянные стереоскопические диспаратности или не используют ни технологию компьютерного зрения, ни технологию машинного обучения.

Хотя аспекты настоящего изобретения были, в частности, показаны и описаны со ссылкой на примеры выше, специалистам в данной области техники будет понятно, что различные дополнительные варианты осуществления могут рассматриваться с помощью модификации раскрытых устройств, систем и способов, без отступления от сущности и объема того, что раскрыто. Следует понимать, что такие варианты осуществления находятся в рамках объема настоящего изобретения, что установлено на основании формулы изобретения и любых ее эквивалентов.

Изобретение относится к устройствам и способам обработки изображений. Технический результат заключается в обеспечении отслеживания износа коронки инструмента для земляных работ во времени. Технический результат достигается за счет того, что система обнаружения износа принимает левое изображение и правое изображение ковша рабочей машины, содержащей по меньшей мере одну коронку для земляных работ (GET), затем система идентифицирует первый нужный участок с левого изображения, соответствующего GET, и второй нужный участок с правого изображения, соответствующего GET, после чего система генерирует цифровое изображение левого края, соответствующее первому нужному участку, и цифровое изображение правого края, соответствующее второму нужному участку, затем система определяет рассеянную стереоскопическую диспаратность между цифровым изображением левого края и цифровым изображением правого края, определяет данные измерений, связанные с GET, а также определяет уровень износа или потери для по меньшей мере одной GET на основании результатов измерений. 2 н. и 9 з.п. ф-лы, 11 ил.

1. Компьютеризированный способ обнаружения износа и потери инструмента для земляных работ, включающий:

прием со стереоскопической камеры, связанной с рабочей машиной, левого изображения, правого изображения и цветного изображения ковша рабочей машины, причем ковш имеет по меньшей мере один инструмент для земляных работ (GET), при этом левое изображение и правое изображение являются цифровыми и черно-белыми;

применение основанного на глубоком обучении алгоритма обнаружения GET к левому изображению, правому изображению и цветному изображению;

идентификацию первого нужного участка с левого изображения, причем первый нужный участок соответствует по меньшей мере одной GET; и

идентификацию второго нужного участка с правого изображения, причем второй нужный участок соответствует по меньшей мере одной GET;

генерирование цифрового изображения левого края, соответствующего первому нужному участку;

генерирование цифрового изображения правого края, соответствующего второму нужному участку;

определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края;

определение уровня износа или потери для по меньшей мере одной GET на основании рассеянной стереоскопической диспаратности; и

применение основанного на глубоком обучении алгоритма определения местоположения GET по крайней мере к одному из первого нужного участка или второго нужного участка для повышения уверенности в рассеянной стереоскопической диспаратности.

2. Способ по п. 1, в котором идентификация первого нужного участка с левого изображения и идентификация второго нужного участка с правого изображения включает применение основанного на глубоком обучении алгоритма обнаружения GET к левому изображению и правому изображению.

3. Способ по п. 1, в котором идентификация первого нужного участка с левого изображения и второго нужного участка с правого изображения включает генерирование карты плотной стереоскопической диспаратности для левого изображения и правого изображения.

4. Способ по п. 3, в котором идентификация первого нужного участка с левого изображения и второго нужного участка с правого изображения дополнительно включает генерирование облака 3D-точек, на основании по меньшей мере частично карты плотной стереоскопической диспаратности.

5. Способ по п. 1, в котором идентификация первого нужного участка с левого изображения и идентификация второго нужного участка с правого изображения включает:

применение основанного на глубоком обучении алгоритма обнаружения GET к левому изображению и правому изображению; и

генерирование карты плотной стереоскопической диспаратности для левого изображения и правого изображения.

6. Способ по п. 1, в котором генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку, включает применение технологий обнаружения края на основе величины градиента.

7. Система обнаружения износа и потери инструмента для земляных работ, содержащая:

стереоскопическую камеру;

один или более процессоров; и

энергонезависимый машиночитаемый носитель, хранящий выполняемые команды, которые при выполнении одним или более процессорами заставляют один или более процессоров выполнять операции, включающие:

прием со стереоскопической камеры левого изображения, правого изображения и цветного изображения ковша рабочей машины, причем ковш содержит по меньшей мере один инструмент для земляных работ (GET), при этом левое изображение и правое изображение являются цифровыми и черно-белыми;

применение основанного на глубоком обучении алгоритма обнаружения GET к левому изображению, правому изображению и цветному изображению;

идентификацию первого нужного участка с левого изображения, причем первый нужный участок соответствует по меньшей мере одной GET; и

идентификацию второго нужного участка с правого изображения, причем второй нужный участок соответствует по меньшей мере одной GET;

генерирование цифрового изображения левого края, соответствующего первому нужному участку;

генерирование цифрового изображения правого края, соответствующего второму нужному участку;

определение рассеянной стереоскопической диспаратности между цифровым изображением левого края и цифровым изображением правого края;

определение уровня износа или потери для по меньшей мере одной GET на основании рассеянной стереоскопической диспаратности; и

применение основанного на глубоком обучении алгоритма определения местоположения GET по крайней мере к одному из первого нужного участка или второго нужного участка для повышения уверенности в рассеянной стереоскопической диспаратности.

8. Система по п. 7, в которой идентификация первого нужного участка с левого изображения и второго нужного участка с правого изображения включает генерирование карты плотной стереоскопической диспаратности для левого изображения и правого изображения.

9. Система по п. 8, в которой идентификация первого нужного участка с левого изображения и второго нужного участка с правого изображения дополнительно включает генерирование облака 3D-точек на основании по меньшей мере частично карты плотной стереоскопической диспаратности.

10. Система по п. 7, в которой генерирование цифрового изображения левого края, соответствующего первому нужному участку, и генерирование цифрового изображения правого края, соответствующего второму нужному участку, включает применение технологий обнаружения края на основе величины градиента.

11. Система по п. 7, в которой стереоскопическая камера включает в себя по меньшей мере один или нескольких процессоров.