СПОСОБ ДЕТЕКТИРОВАНИЯ И КЛАССИФИКАЦИИ ТВЕРДЫХ КОММУНАЛЬНЫХ ОТХОДОВ Российский патент 2023 года по МПК G01B21/20 B07C5/02 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам распознавания твердых бытовых отходов на конвейере.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2731052 (C1), опубл. 28.08.2020. Данное изобретение относится к области переработки твердых коммунальных отходов (ТКО) с получением вторичного сырья (пластика, металла, стекла). Изобретение относится к области автоматизированной сортировки отходов с использованием самообучающейся роботизированной системы на основе нейронных сетей. Изобретение относится к интеллектуальным системам, системам автоматической сортировки ТКО. Изобретение может быть использовано в энергетике, химической промышленности, металлургии, коммунальном хозяйстве, экологии. Роботизированный автоматический комплекс по сортировке твердых коммунальных отходов на основе нейронных сетей, включает в себя систему машинного зрения с цифровой камерой, настроенной на работу в конкретной области распознавания объектов, и компьютером (вычислительным блоком), на жестком диске которого установлено программное обеспечение (ПО) на основе сверточной нейронной сети, ленточный конвейер, сортировочный узел, один или несколько, представляющий собой робота с системой захвата и перемещения ТКО, настроенного на работу в укомплектованной контейнерами для сброса отобранных фракций ТКО области выгрузки, отличающийся тем, что ленточный конвейер оснащен датчиком измерения скорости конвейерной ленты, робот оснащен контроллером, комплекс дополнительно включает блок оптических сенсоров, который установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы, две и более, и автоматизированную систему управления (АСУ), которая включает модуль синхронизации работы цифровой камеры системы машинного зрения и блока оптических сенсоров и центральный сервер, на жестком диске которого установлено ПО, содержащее программные модули, предназначенные для обработки и преобразования данных, получаемых от компьютера системы машинного зрения, контроллера робота, датчиков скорости конвейерной ленты и модуля синхронизации, и программный модуль планирования перемещений робота, на жестком диске компьютера системы машинного зрения дополнительно установлена база данных (БД) изображений сортируемых объектов ТКО и связанных с изображениями объектов файлов описания для обучения нейросетевой модели, используемой в составе ПО, а ПО, установленное на жестком диске компьютера системы машинного зрения, включает программный модуль распознавания образов на основе сверточной нейронной сети, программный модуль обработки данных блока оптических сенсоров, программный модуль формирования списка объектов для подбора, причем центральный сервер АСУ соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты, модуль синхронизации АСУ соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером, компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером АСУ.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных ранее тем, что предложенное решение осуществляет более эффективное распознавание твердых бытовых отходов на конвейере, за счет качественного построения трехмерного профиля объекта.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа распознавания твердых бытовых отходов на конвейере.

Технический результат заключается в повышении качества распознавания отходов (а именно - повышение процента фракций, распознанных верно).

Заявленный технический результат достигается за счет осуществления способа распознавания твердых бытовых отходов на конвейере, включающего этапы, на которых:

посредством видеокамеры, выполненной с технологией машинного зрения, неподвижно закрепленной над конвейером, осуществляется видеофиксация объекта, перемещающегося на конвейерной ленте;

при этом параллельно, посредством ультразвукового модуля, на, перемещающийся на конвейерной ленте объект направляются узконаправленные импульсы с частотой 1 КГц, причем, на основе зафиксированного времени возврата узконаправленных импульсов от объекта осуществляется получение всех наивысших точек объекта;

собранные данные с видеокамеры и ультразвукового модуля одновременно направляются на вычислительное устройство, на котором собранная и зафиксированная информация обрабатывается в совокупности друг с другом и осуществляется построение трехмерного профиля объекта.

В частном варианте реализации описываемого решения, для точного совмещения собранной информации, в передачу информации, полученной от видеокамеры, добавляется искусственная задержка, при этом конвейер дополнительно оснащается энкодером, посредством которого рассчитывается необходимая величина задержки сигнала.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1, иллюстрирует схему программно-аппаратного комплекса (вид сбоку).

Фиг. 2, иллюстрирует общую схему программно-аппаратного комплекса.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее техническое решение представляет собой изобретение в области сортировки твердых бытовых отходов, где требуется предварительное распознавание объектов - их детектирование, классификация и определение размеров, а также построение трехмерного профиля.

Все существующие на данный момент решения для распознавания и классификации отходов используют только лишь видеокамеру машинного зрения, и иногда - спектрометры. Это приводит к тому, что объекты видны лишь в двухмерной проекции, что снижает качество и эффективность распознавания, т.к. в двухмерной проекции информации для системы распознавания меньше, чем в трехмерной.

Для реализации настоящего технического решения, в предпочтительном варианте реализации, необходимы следующие технические элементы:

Видеокамера машинного зрения;

Ультразвуковой модуль;

Конвейер;

Вычислительное устройство, реализующее алгоритмы машинного зрения;

Экнодер.

Снимаемый объект движется по конвейерной ленте, проезжая под неподвижными камерой и ультразвуковым модулем. Ультразвуковой датчик выдает узконаправленные импульсы с частотой 1 КГц. Каждый такой импульс направлен на снимаемый объект. Отражаясь от него, он возвращается на приемник ультразвукового модуля. Время возврата отраженного сигнала прямо пропорционально расстоянию от модуля до снимаемого объекта. Поскольку лента конвейера - ровно горизонтальная, то фактически расстояние от модуля до объекта обратно пропорционально его размеру (чем больше объект, тем выше его верхний профиль и тем ближе он к датчику).

Подобное измерение происходит 1000 раз в секунду, что позволяет при скорости движения объекта 1 м/с получить точку его наибольшей высоты каждый 1 мм.

Таким образом, применение ультразвукового датчика позволяет построить профиль видимой части поверхности. Таким образом, на вычислительное устройство, в систему машинного зрения будет поступать не только информация о внешнем виде объекта, но и профиль его поверхности. Это позволяет распознавать объекты с более высокой достоверностью, чем без применения ультразвукового датчика.

На фиг. 1 показана схема комплекса, где:

101 - конвейер;

102 - снимаемый объект;

103 - видеокамера;

104 - ультразвуковой модуль.

Объект 102 движется по конвейеру 101 слева направо. При прохождении под ультразвуковым модулем 104 он попадает под излучаемые им импульсы, время возврата которых позволяет получить информацию о наивысшей точке объекта в этот момент времени. Поскольку объект движется, можно последовательно получить наивысшие точки всех его точек и построить профиль поверхности, дополнив им изображение с камеры 103.

Общая структурная схема комплекса показана на фигуре 2, где:

201 - видеокамера;

202 - модуль технического зрения;

203 - ультразвуковой модуль;

204 - энкодер.

Модуль технического зрения 202 получает информацию одновременно и от видеокамеры 201, и от ультразвукового модуля 203. Эта информация анализируется в совокупности, например, с помощью искусственных нейронных сетей, что позволяет построить трехмерный профиль поверхности и расположить на нем текстуру.

Поскольку видеокамера и ультразвуковой модуль расположены на некотором расстоянии друг от друга, необходимо добавлять искусственную задержку в передачу информации, полученной от видеокамеры. Это необходимо для точного совмещения информации от вышеуказанных сенсоров. С этой целью конвейер дополнительно оснащается энкодером 204, с помощью которого модуль технического зрения точно определяет скорость движения объекта и рассчитывает необходимую величину задержки сигнала.

Ультразвуковой датчик опрашивается управляющей электроникой с частотой 1 КГц. Каждый такой замер датчик возвращает расстояние до объекта. Поскольку снимаемый объект при этом движется, то каждый очередной замер смещается на определенное расстояние (равное скорости движения, деленной на 1000, т.к. опрос с частотой 1 КГц).

Электроника, которая управляет датчиком, одновременно (с той же частотой) шлет импульсы на обычную камеру. Камера снимает согласно подобным импульсам, т.е. формирует маленький фрагмент изображения 1000 раз в секунду.

Фактически получаем синхронизированные данные - с ультразвукового датчика и камеры, снятые одновременно. Это позволяет совместить их, поскольку мы знаем, что они выполнены в одно и то же время. За счет совмещения данных на выходе одновременно получаем видимое изображение объекта и соответствующий изображению 3Д-профиль поверхности объекта.

Суть процесса заключается в регулярном опросе датчика, под которым двигается объект. Например, осуществили опрос датчика и получили высоту объекта 1 см. Далее объект сместился на 5 мм, и датчик опросили повторно, где можно заметить, что высота объекта уже другая (например, 2 см). Таким образом выявляется вторая точка объекта. После чего этап опроса повторяется, и, к примеру, появляется высота объекта в третьей точки (например, 2.5 см).

В конечном счете, осуществляется построение профиля объекта, который, по сути, представляет собой график, где по оси Х - направление движения конвейера, а по оси У - высота объекта. На этом графике, в данном случае будут три точки (все в сантиметрах):

0; 1

0.5; 2

1.0; 2.5

Относительно сопоставления данных необходимо отметить, что и камера, и ультразвуковой датчик работают одновременно, однако, они смещены друг относительно друга. При этом зная скорость конвейера, мы можем сказать, что точка А под камерой будет в момент времени, например, 0 секунд, а под ультразвуковым датчиком она же проедет через 1.5 секунды. Таким образом, при сопоставлении данных необходимо учитывать расхождения показателей, что не является проблемой, поскольку все исходные значения скорости передвижения ленты и времени известны.

Таким образом, настоящее техническое решение позволяет качественно и эффективно распознавать твердые бытовые отходы на конвейере.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к области вычислительной техники. Заявленный способ распознавания твердых бытовых отходов на конвейере включает этапы, на которых: посредством видеокамеры, выполненной с технологией машинного зрения, неподвижно закрепленной над конвейером, осуществляется видеофиксация объекта, перемещающегося на конвейерной ленте; при этом параллельно, посредством ультразвукового модуля, на перемещающийся на конвейерной ленте объект направляются узконаправленные импульсы с частотой 1 КГц, причем на основе зафиксированного времени возврата узконаправленных импульсов от объекта осуществляется получение всех наивысших точек объекта. Собранные данные с видеокамеры и ультразвукового модуля одновременно направляются на вычислительное устройство, на котором собранная и зафиксированная информация обрабатывается в совокупности друг с другом и осуществляется построение трехмерного профиля объекта. Технический результат - повышение качества распознавания отходов. 1 з.п. ф-лы, 2 ил.

1. Способ распознавания твердых бытовых отходов на конвейере, включающий этапы, на которых:

посредством видеокамеры, выполненной с технологией машинного зрения, неподвижно закрепленной над конвейером, осуществляется видеофиксация объекта, перемещающегося на конвейерной ленте;

при этом параллельно, посредством ультразвукового модуля, на перемещающийся на конвейерной ленте объект направляются узконаправленные импульсы с частотой 1 КГц, причем на основе зафиксированного времени возврата узконаправленных импульсов от объекта осуществляется получение всех наивысших точек объекта;

собранные данные с видеокамеры и ультразвукового модуля одновременно направляются на вычислительное устройство, на котором собранная и зафиксированная информация обрабатывается в совокупности друг с другом и осуществляется построение трехмерного профиля объекта.

2. Способ по п.1, в котором для точного совмещения собранной информации, в передачу информации, полученной от видеокамеры, добавляется искусственная задержка, при этом конвейер дополнительно оснащается энкодером, посредством которого рассчитывается необходимая величина задержки сигнала.