ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС АВТОМАТИЧЕСКОЙ СОРТИРОВКИ ТВЕРДЫХ ОТХОДОВ Российский патент 2024 года по МПК B07C5/342 B09B5/00 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области сортировки твердых отходов, в частности, к программно-аппаратному комплексу автоматической сортировки твердых отходов.

Настоящее изобретение может быть использовано, по меньшей мере, для сортировки различных твердых отходов с целью их дальнейшей переработки, в том числе во дворах жилых домов, в жилых домах.

УРОВЕНЬ ТЕХНИКИ

В патенте RU 2731052 C1, дата публикации 28.08.2020, раскрыт роботизированный комплекс, который включает систему машинного зрения с цифровой камерой и компьютером c программным обеспечением на основе сверточной нейронной сети, ленточный конвейер, робот с системой захвата и перемещения. Блок оптических сенсоров установлен над лентой конвейера за областью распознавания объектов цифровой камерой и включает излучатели и камеры-регистраторы и автоматизированную систему управления. Центральный сервер автоматизированной системы управления соединен по локальной линии связи с компьютером системы машинного зрения, модулем синхронизации, контроллером робота, датчиком измерения скорости движения конвейерной ленты. Модуль синхронизации автоматизированной системы управления соединен по локальной линии связи с камерой системы машинного зрения, блоком оптических сенсоров и центральным сервером. Компьютер системы машинного зрения соединен по локальной линии связи с цифровой камерой, блоком оптических датчиков, центральным сервером автоматизированной системы управления. Роботизированный комплекс позволяет увеличить скорость и качество отбора фракций твердых коммунальных отходов.

Однако в данном патенте отсутствует возможность осуществлять сортировку твердых отходов с помощью роботизированного устройства, например роборуки, «в ручную», то есть когда роборука имитирует действия человека. Кроме того, отсутствуют возможность размещать роботизированный комплекс в ограниченном пространстве, например, во дворе жилого дома, в жилом доме.

Технической задачей настоящего изобретения является разработка программно-аппаратного комплекса сортировки твердых отходов, который бы позволял осуществлять сортировку твердых отходов с помощью роботизированного устройства «в ручную» в ограниченном пространстве.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническим результатом заявляемого изобретения является обеспечение автоматической сортировки твердых отходовс помощью роботизированного устройства «в ручную» в ограниченном пространстве, что позволяет осуществлять автоматическую сортировку твердых отходов непосредственно во дворах жилых домов.

Указанный технический результат достигается за счет того, что:

Программно-аппаратный комплекс автоматической сортировки твердых отходов, содержит:

кольцевой круговой конвейер, причем на круговом столе кольцевого конвейера располагаются твердые отходы;

роботизированное устройство захвата мусора, причем роботизированное устройство захвата мусора перемещается над полукругом кольцевого конвейера вдоль нулевой линии, при этом нулевая линия представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола;

видеокамеру, причем с помощью указанной видеокамеры получают видеопоток, содержащий изображения объектов твердых отходов, располагающихся на полукруге кругового стола, где перемещается роботизированное устройство захвата мусора;

блок считывания, причем посредством блока считывания выбирают каждые n кадров изображения из полученного видеопотока и передают выбранные изображения в блок распознавания;

блок распознавания, причем посредством блока распознавания с помощью нейронной сети обрабатывают полученные изображения и в результате обработки распознают объекты на указанных изображениях, и для каждого распознанного объекта получают координаты распознанного объекта, тип распознанного объекта;

блок постобработки, причем с помощью блока постобработки на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывают угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию на плоскость кругового стола линии, проходящей от центра кругового стола до центра распознанного объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта; и

передают в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта; и осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер; причем процесс захвата твердых отходов повторяется столько раз, сколько объектов было распознано на круге в конкретный момент времени.

В одном варианте реализации программно-аппаратного комплекса типом объекта является, по меньшей мере, пластик, цветные металлы, стекло, бумага.

В одном варианте реализации программно-аппаратного комплекса роботизированным устройством захвата мусора является роборука.

В одном варианте реализации программно-аппаратного комплекса нейронная сеть является сегментационной нейронной сетью.

В одном варианте реализации программно-аппаратного комплексав случае, если на полукруге в конкретный момент времени не было распознано ни одного объекта, то выполняется команда поворота стола по часовой стрелке на N градусов.

В одном варианте реализации программно-аппаратного комплекса после прохождения полного круга по часовой стрелке M раз, где M равно или больше 1, открывается боковая створка и стол начинает крутиться на 360 градусовпротив часовой стрелки таким образом, что оставшийся мусор попадает в контейнер для нераспознанного мусора.

В одном варианте реализации программно-аппаратного комплекса контейнеры для сортировки объектов располагаются под малым отверстием сортировочного круга, под крайним положением роборуки.

В одном варианте реализации программно-аппаратный комплекс дополнительносодержит обзорную видеокамеру для получения общего вида программно-аппаратного комплекса автоматической сортировки твердых отходов для удаленного мониторинга работы всего программно-аппаратного комплекса в целом.

В одном варианте реализации программно-аппаратного комплекса видеокамера располагается вертикально над столом кольцевого конвейера.

Также указанный технический результат достигается за счет того, что:

Способ автоматической сортировки твердых отходов содержит следующие шаги:

а) получают видеопоток, содержащий изображения объектов твердых отходов, располагающихся на полукруге кругового стола кольцевого конвейера, где перемещается роботизированное устройство захвата мусора, причем роботизированное устройство захвата мусора перемещается над полукругом кольцевого конвейера вдоль нулевой линии, при этом нулевая линия представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола;

б) выбирают каждые n кадров изображения из полученного видеопотока и передают выбранные изображения для распознавания в нейронную сеть;

в) с помощью нейронной сети обрабатывают полученные изображения и в результате обработки распознают объекты на указанных изображениях, и для каждого распознанного объекта получают координаты распознанного объекта, тип распознанного объекта;

г) на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывают угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию на плоскость кругового стола линии, проходящей от центра кругового стола до центра распознанного объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта; и

д) передают в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта;

е) осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер;

ж) процесс захвата твердых отходов повторяют столько раз, сколько объектов было распознано на круге в конкретный момент времени;

з) в случае, если на полукруге в конкретный момент времени не было распознано ни одного объекта, выполняют команду поворота стола по часовой стрелке на N градусови повторяют шаги а) – ж).

Технический результат достигается за счет того, что координаты распознанных объектов на изображениях преобразуются таким образом, чтобы обеспечить перемещение роборуки над кругом кольцевого конвейера таким образом, чтобы роборука имитировала действие человеческой руки и сортировка отходов осуществлялась автоматически «в ручную» в ограниченном пространстве. Круговая форма конвейера позволяет калибровать и переводить координаты системы распознавания в реальные координаты. Так как заявленный программно-аппаратный комплекс оснащен кольцевым круговым конвейером, который является компактным, то его можно размещать в ограниченном пространстве и осуществлять сортировку мусора непосредственно во дворах жилых домов.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.

Заявляемое изобретение проиллюстрировано фигурами 1-2, на которых изображены:

Фиг. 1 – иллюстрирует пример кольцевого кругового конвейера с роботизированным устройством захвата мусора.

Фиг. 2 - иллюстрирует пример распознавания объектов на полученном изображении кольцевого конвейера с помощью нейронной сети.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Заявленный программно-аппаратный комплекс автоматической сортировки твердых отходов содержит кольцевой круговой конвейер. На круговом столе кольцевого конвейера располагаются твердые отходы различных видов (например, металл, бумага, пластик, стекло и т.д.). Роботизированное устройство захвата мусора (например, роборука) перемещается над кругом кольцевого конвейера вдоль нулевой линии. Нулевая линия представляет собой проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола. На Фиг. 1 нулевая линия (1) - проекция линии, по которой двигается роборука (2), на плоскость стола (3), линия перемещения роборуки (линия захвата) (4) начинается от центра металлической рейки (5), через который проходит ось кольцевого конвейера (6), и заканчивается точкой крепления захвата (7). Полученная нулевая линия (1) будет проходить от центра малого круга (8) до конца стола параллельно линии захвата (4). Видеокамера располагается вертикально над столом кольцевого конвейера таким образом, чтобы получать с помощью указанной видеокамеры видеопоток, содержащий изображения объектов твердых отходов, располагающихся на полукруге стола, где перемещается роботизированное устройство захвата мусора, и передавать в блок считывания. Блок считывания выбирает каждые n кадров изображения из полученного видеопотока и передает выбранные изображения в блок распознавания. Блок распознавания с помощью нейронной сети обрабатывает полученные изображения и в результате обработки распознает объекты на указанных изображениях, и для каждого распознанного объекта получает координаты распознанного объекта, тип распознанного объекта (Фиг. 2, Plastic – Пластик, Glass – Стекло, Metal – Металл, Paper – Бумага). Блок постобработки на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывает угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию линии, проходящей от центра кругового стола до центра распознанного объекта, на плоскость кругового стола, и рассчитывает расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта. Далее передают в роботизированное устройство захвата мусора тип распознанного объекта,рассчитанный угол поворота стола кольцевого конвейера и расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта. И осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер. Процесс захвата твердых отходов повторяется столько раз, сколько объектов было распознано на круге в конкретный момент времени.

Способ автоматической сортировки твердых отходов содержит следующие шаги:

а) получают видеопоток, содержащий изображения объектов твердых отходов, располагающихся на полукруге кругового стола кольцевого конвейера, где перемещается роботизированное устройство захвата мусора, причем роботизированное устройство захвата мусора перемещается над полукругом кольцевого конвейера вдоль нулевой линии, при этом нулевая линия представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола;

б) выбирают каждые n кадров изображения из полученного видеопотока и передают выбранные изображения для распознавания в нейронную сеть;

в) с помощью нейронной сети обрабатывают полученные изображения и в результате обработки распознают объекты на указанных изображениях, и для каждого распознанного объекта получают координаты распознанного объекта, тип распознанного объекта;

г) на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывают угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию на плоскость кругового стола линии, проходящей от центра кругового стола до центра распознанного объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта; и

д) передают в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта;

е) осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер;

ж) процесс захвата твердых отходов повторяют столько раз, сколько объектов было распознано на круге в конкретный момент времени;

з) в случае, если на полукруге в конкретный момент времени не было распознано ни одного объекта, выполняют команду поворота стола по часовой стрелке на N градусови повторяют шаги а) – ж).

Первая камера, которая располагается вертикально над конвейером, снимает стол кругового конвейера. Кроме этого, программно-аппаратный комплекс содержит вторую видеокамеру, которая снимает общий вид конвейера. Вторая камера нужна для удаленного мониторинга работы всей системы в целом. Камеры могут являться USB камерами, которые подключены к портативному мини-компьютеру посредством 2 USB кабелей. С помощью мини-компьютера осуществляется распознавание объектов мусора на видеопотоке. Распознавание происходит с помощью нейронной сети. С камерного видеопотока считываются изображения, на которых с помощью нейросети распознаются объекты. В результате работы нейронной сети получают координаты и типы распознанных объектов.

Пример осуществления процесса распознавания объектов мусора.

Первая видеокамера вертикально снимает круговой стол кольцевого конвейера, на котором располагаются объекты бытовых отходов. Видеокамера снимает полукруг кольцевого конвейера. Роботизированное устройство захвата мусора перемещается на полукруге, который снимает видеокамера.

Процесс перемещения круга кольцевого конвейера и согласование с системой захвата происходит следующим образом. В моменте начала работы системы, совпадающем с моментом завершения работы устройства разрывания мешков с мусором, когда мусор уже лежит на столе из разорванного мешка (не относится к системе распознавания), приходит команда на активацию системы распознавания. После этого начинается распознавание мусорных объектов нейросетью на полукруге, попадающем в поле видимости видеокамеры.

Система поддерживает 3 основные команды:

- поворот круга на N градусов (например, на 20 градусов) по часовой стрелке до прохождения полного круга по часовой стрелке (M * 360 градусов, где M - задаваемый параметр, число кругов M ≥ 1, по умолчанию M= 1);

- выполнение поворота на θ градусов по часовой стрелке + захват предмета на расстоянии R мм от роборуки до предмета, θ и R вычисляются системой, если нейросетью были обнаружены объекты на полукруге;

- очистка стола после прохождения полного круга по часовой стрелке, открывается боковая створка и стол начинает крутиться 360 градусов, но уже против часовой стрелки, таким образом весь оставшийся мусор попадает в контейнер для нераспознанного мусора.

В случае, если на полукруге в конкретный момент времени (кадра) не было распознано ни одного объекта, то система считает, что мусора на данной части круга нет и начинает выполнять команду поворота стола по часовой стрелке на 20 градусов.

Таким образом, после выполнения поворота, круг на мгновение останавливается (момент времени от завершения поворота круга на 20 градусов до завершения обработки кадра нейросетью, полученного после поворота, около 0.5 секунды), нейросеть сканирует полукруг, в случае, если не находит целевые мусорные объекты, опять выполняется поворот еще на 20 градусов, если целевой объект найден, выполняется захват ближайшего (по углу) к нулевой линии объекта.

При отсутствии команд от системы распознавания круг всегда будет в статичном положении, и не будет крутиться

В процессе распознавания с видеопотока каждые n кадров, например, каждые 5 кадров из 40 в секунду, выбираются изображения и передаются в нейронную сеть. Нейросеть, обработав полученное изображение, отдает на выход координаты объектов, их тип, нормированные координаты на круглую ось конвейера, угол поворота для системы захвата.

Для детекции/сегментации объектов могут применяться такие архитектуры нейронных сетей, как например centermask [1] и YOLOv5 / YOLOv6 [2].

Пример обучения нейронной сети YOLOv5.

1. В базовой архитектуре нейронной сети при обучении модели под заявленное решение меняется последний слой на 4 класса (Пластик, Стекло, Металл, Бумага), а слои до этого заполняются базовыми значениями модели.

2. Далее создается датасет мусорных объектов - набор данных вида изображение, разметка, определенная предварительно, в которой содержится информация о местоположении мусорного объекта (bbox) и его тип (Пластик, Стекло, Бумага, Металл). В заявленном решении взяты данные по разметке из [3], а также сделаны снимки и в ручную размечены координаты и типы различных мусорных объектов для каждого изображения.

3. Далее создается объект сети, в которой инициализируются веса в соотетствии с пунктом 1.

4. Далее итеративно создаются “батчи” - мини-наборы изображений, случайно выбранные из всего набора данных. В данном случае получается вектор из n=16 изображений размера (3, 640, 640) -> (16, 3, 640, 640). Далее батч проходит через все операции перемножения, суммы и т.д., заложенные в архитектуре созданной ранее сети (это называется forwardpass), на выходе получается вектор размерности [n, x, y, w, h, p, c], где x, y, w, h - параметры, задающие местоположение “квадрата объекта” на изображении, p - уверенность предсказания, c - порядковый номер предсказанного типа объекта (Пластик/Стекло/Бумага/Металл).

5. Далее предсказания передаются в функцию потерь, имеющую формулировку [4], [5].

6. Далее от функции потерь (loss) считается градиент от сложной функции по весам модели (насколько нужно изменить веса, чтобы минимизировать функцию потерь). И затем веса обновляются по следующему правилу:

w_новые = w_старые -mu * d (Loss) / d (w_старые)

7. Такое обновление происходит фиксированное число раз (k * len(data) // 16), где k - параметр, len(data) - число изображений во всем наборе данных, 16 - параметр n - число изображений в батче.

8. Таким образом получаются новые веса и итеративно меняются предсказания, постепенно подстраиваясь под реальную разметку в обучающей выборке.

9. После описанных выше процессов происходит получение предсказаний на основе новых весов для тестовой выборки (той, которую модель не видела), она нужна для того, чтобы отслеживать момент, когда модель начнет заучивать тренировочные данные, которые ей показывают и ухудшать свою генерализующую способность на данных, которые она не видела.

В обученную нейронную сеть передают изображение в виде пикселей размерности: (1, 3, 640, 640), в результате работы нейронной сети получают координаты боксов размерности (1, N, 4), где N - число предсказанных боксов, бокс представляет собой квадрат на изображении размерности 4 (xmin, xmax, ymin, ymax) - минимальные \ максимальные координаты в пикселях по оси x и y соответственно.На Фиг. 2 показан пример распознавания объектов с отрисованными координатами.

Иимея значения вида: (xmin, xmax), (ymin, ymax) для каждого объекта, можем найти центры объектов в пикселях. Их можно получить путем следующего преобразования:

bbox_center_x = xmin + (xmax - xmin) / 2

bbox_center_y = ymin + (ymax - ymin) / 2

После получения координат каждого объекта на изображении, запускается постобработка. Имея координаты объектов с изображения, блок постобработки рассчитывает угол между линией от центра малой окружности (центра круга кольцевого конвейра) до центра объекта и нулевой линией (это угол, на который нужно повернуть стол, чтобы объект был расположен прямо под нулевой линией роборуки).

Угол поворота рассчитывается по формуле:

θ = atan2(A.y, A.x) - atan2(B.y, B.x), (1)

Где A.y, A.x - координаты центра объекта

B.y, B.x - координаты конца точки на нулевой линии (виртуальная точка центра малого круга кольцевого конвейера).

Далее рассчитывается расстояние в пикселях, на которое должна передвинуться роборука по нулевой линии, начиная от центра малой окружности, заканчивая центром объекта. Для этого нужны нормированные координаты, благодаря которым расстояние передвижения рассчитывается следующим образом:

где bbox_x, bbox_y - координаты центра объекта,

cx, cy - координаты центра малой окружности в пикселях

Затем происходит переход (нормировка координат) от пиксельных расстояний к реальным путем следующих преобразований:

mm_per_pxl = (R_MAX - R_MIN) / (outer_r - inner_r), (3)

где R_MAX, R_MIN - константы максимального, минимального расстояния передвижения роборуки в мм,

outer_r, inner_r - пиксельные радиусы внешнего и внутреннего кругов (Фиг. 2).

Далее получаем расстояние в мм:

R = R_MAX - (pix_R - inner_r) * mm_per_pxl (4)

После этого круглый стол поворачивается на рассчитанный угол поворота θ, роборука передвигается по нулевой линии на R мм от центра малого круга и выполняет захват мусорного объекта под ней, после захвата система бросает предмет в соответствующий контейнеров в зависимости от распознанного типа объекта.

Поддерживается распознавание 4 типов объектов:

- Пластик

- Цветные металлы (алюминиевые банки и т.д.)

- Стекло (стеклянные бутылки и т.д.)

- Бумага

Контейнеры для сортировки объектов располагаются под малым отверстием сортировочного круга, под крайним положением роборуки, под створкой кольцевого конвейера.Например,первый контейнер- под малым отверстием сортировочного круга, в которыйроборукой сбрасывается пластик, второй - под крайним положением роборуки (см Фиг.1), во второй контейнер сбрасывается металл, третий - под створкой кольцевого конвейера (створка находится в правом нижнем углу на Фиг.1, открывается при выполнении команды очистки стола, в третий контейнер собирается весь оставшийся мусор. Угол поворота и расстояние, которое нужно пройти руке до ближайшего мусорного объекта рассчитывается по формулам (1), (2), (3), (4).После распознавания объектов нейросетью на кадре роборуке передается команда для захвата предмета, содержащая в себе: угол поворота стола до предмета, расстояние, которое необходимо пройти руке до предмета после поворота на рассчитанный угол, тип контейнера (1 - контейнер для пластика, 0 - контейнер для металла), 1 или 0 определяется на основе типа объекта, определенного нейросетью. Роборука может перемещаться от положения Rmin до Rmax, Rmin<Rmax, где Rmin по умолчанию = 0 мм - соответствует крайнему правому положению руки, когда виртуальная ось кругового конвейера (см Фиг. 1) будет проходить через роборуку, когда роборука находится над первым контейнером (пластик) Rmax - крайнее левое положение руки, когда она будет находиться над контейнером номер 2 (металл). Например, от нейросети получены рассчитанные значения угла поворота d=14 градусов, расстояния до предмета R = 425 мм (Rmin<R<Rmax), тип контейнера (1 - контейнер для пластика, если обнаружен пластик, 0 - контейнер для металла, если обнаружен металл), для примера будет 0 - металлическая банка (металл).Стол поворачивается по часовой стрелке на d=14 градусов, после поворота стола роборука раскрывается из закрытого положения и перемещается на расстояние R = 425мм, опускается вертикально вниз до стола, опустившись, закрывается, хватая металлическую банку, далее рука поднимается вертикально вверх, затем перемещается в положение, соответствующее Rmax = 700мм от центра кругового конвейера, переместившись, роборукараскрывается и отпускает металлическую банку, банка падает во второй контейнер (для металла), затем роборука возвращается в положение Rmin, соотвествующее центру кругового конвейера, центру малого круга.Если бы вместо металлической банки была распознан пластик, то роборука сбросила бы его в контейнер номер 1 (пластик) в положении Rmin и далее осталась бы в Rmin.

Процесс происходит итеративно до момента выключения системы командой или вручную. Процесс захвата повторяется столько раз, сколько объектов было распознано на столе в конкретный момент времени. Отходы попадают на круг практически бесперебойно или частями, что позволяет назвать процесс распознавания и захвата повторяющимися.

Специалисту в данной области техники должно быть очевидно, что все операции для обработки данных по настоящему изобретению могут быть реализованы с использованием по меньшей мере одного вычислительного устройства. Вычислительное устройство содержит по крайней мере один процессор, память и инструкции, хранимые в памяти и исполняемые процессором, с помощью которых осуществляют обработку данных в программно-аппаратном комплексе автоматического сбора мусора. Обработка данных может быть централизованной, например с помощью одного вычислительного устройства, или распределенной, например с помощью нескольких вычислительных устройств, распределенных по сети.

В общем случае вычислительное устройство, обеспечивающее обработку данных, необходимую для реализации заявленного решения, содержит такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство В/В, средства сетевого взаимодействия.

Процессор устройства выполняет основные вычислительные операции, необходимые для функционирования устройства или функциональности одного или более его компонентов. Процессор исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти. Память, как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации. Интерфейсы представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов зависит от конкретного исполнения устройства, которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п. В качестве средств В/В данных используется клавиатура. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п. Средства сетевого взаимодействия выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G, 6G и т.д. Компоненты вычислительного устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.

Источники

[1] https://arxiv.org/abs/1911.06667

[2] https://arxiv.org/abs/2209.02976

[3] http://tacodataset.org/

[4] https://github.com/ultralytics/yolov5/discussions/6276#discussioncomment-1954916

[5] http://ncbi.nlm.nih.gov/pmc/articles/PMC8610656/(глава 2.4)

Группа изобретений относится к программно-аппаратному комплексу автоматической сортировки твердых отходов и способу автоматической сортировки твердых отходов с использованием указанного комплекса. Программно-аппаратный комплекс содержит кольцевой круговой конвейер, на круговом столе которого располагаются твердые отходы. Программно-аппаратный комплекс включает роботизированное устройство захвата мусора, выполненное с возможностью перемещения над полукругом кольцевого конвейера вдоль нулевой линии, которая представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола. Программно-аппаратный комплекс включает также видеокамеру, выполненную с возможностью получения видеопотока, содержащего изображения объектов твердых отходов, и блок считывания, выполненный с возможностью выбора каждого n кадра изображения из полученного видеопотока и передачи выбранных изображений в блок распознавания. При этом блок распознавания выполнен с возможностью с помощью нейронной сети обрабатывать полученные изображения, распознавать объекты на указанных изображениях, и для каждого распознанного объекта получать его координаты и тип распознанного объекта. Программно-аппаратный комплекс содержит также блок постобработки, выполненный с возможностью на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывать угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, и передавать в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате устройство захвата мусора оказалось над центром распознанного объекта и осуществило захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер. Техническим результатом является обеспечение автоматической сортировки твердых отходов с помощью роботизированного устройства «в ручную» в ограниченном пространстве. 2 н. и 6 з.п. ф-лы, 2 ил.

1. Программно-аппаратный комплекс автоматической сортировки твердых отходов, содержащий:

кольцевой круговой конвейер, причем на круговом столе кольцевого конвейера располагаются твердые отходы;

роботизированное устройство захвата мусора, причем роботизированное устройство захвата мусора выполнено с возможностью перемещения над полукругом кольцевого конвейера вдоль нулевой линии, при этом нулевая линия представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола;

видеокамеру, причем видеокамера выполнена с возможностью получения видеопотока, содержащего изображения объектов твердых отходов, располагающихся на полукруге кругового стола, где перемещается роботизированное устройство захвата мусора;

блок считывания, причем блок считывания выполнен с возможностью выбора каждого n кадра изображения из полученного видеопотока и передачи выбранных изображений в блок распознавания;

блок распознавания, причем блок распознавания выполнен с возможностью, с помощью нейронной сети, обрабатывать полученные изображения и в результате обработки распознавать объекты на указанных изображениях, и для каждого распознанного объекта получать координаты распознанного объекта, тип распознанного объекта;

блок постобработки, причем блок постобработки выполнен с возможностью, на основании полученных с помощью нейронной сети координат распознанного объекта, рассчитывать угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию на плоскость кругового стола линии, проходящей от центра кругового стола до центра распознанного объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта, и передавать в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта, и осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер.

2. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что типом объекта является, по меньшей мере, пластик, цветные металлы, стекло, бумага.

3. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что роботизированным устройством захвата мусора является роборука.

4. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что нейронная сеть является сегментационной нейронной сетью.

5. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что контейнеры для сортировки объектов располагаются под отверстием сортировочного круга, под крайним положением роборуки.

6. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что система дополнительно содержит обзорную видеокамеру для получения общего вида программно-аппаратного комплекса автоматической сортировки твердых отходов для удаленного мониторинга работы всего программно-аппаратного комплекса в целом.

7. Программно-аппаратный комплекс по п. 1, характеризующийся тем, что видеокамера располагается вертикально над столом кольцевого конвейера.

8. Способ автоматической сортировки твердых отходов, содержащий следующие шаги:

а) получают видеопоток, содержащий изображения объектов твердых отходов, располагающихся на полукруге кругового стола кольцевого конвейера, где перемещается роботизированное устройство захвата мусора, причем роботизированное устройство захвата мусора перемещается над полукругом кольцевого конвейера вдоль нулевой линии, при этом нулевая линия представляет проекцию линии движения устройства захвата мусора на плоскость кругового стола и проходит от центра до конца кругового стола;

б) выбирают каждые n кадров изображения из полученного видеопотока и передают выбранные изображения для распознавания в нейронную сеть;

в) с помощью нейронной сети обрабатывают полученные изображения и в результате обработки распознают объекты на указанных изображениях, и для каждого распознанного объекта получают координаты распознанного объекта, тип распознанного объекта;

г) на основании полученных с помощью нейронной сети координат распознанного объекта рассчитывают угол поворота стола кольцевого конвейера, представляющий собой угол между нулевой линией и линией объекта, при этом линия объекта представляет проекцию на плоскость кругового стола линии, проходящей от центра кругового стола до центра распознанного объекта, и расстояние, на которое должно передвинуться роботизированное устройство захвата мусора, представляющее собой расстояние от центра кругового стола до центра распознанного объекта; и

д) передают в роботизированное устройство захвата мусора тип распознанного объекта, рассчитанный угол поворота стола кольцевого конвейера, расстояние от центра круга, на которое должно передвинуться устройство захвата мусора вдоль своей линии движения от центра круга, чтобы в результате указанного поворота круга и указанного передвижения устройство захвата мусора оказалось над центром распознанного объекта;

е) осуществляют захват распознанного объекта с помощью роботизированного устройства захвата мусора для перемещения захваченного объекта в зависимости от распознанного типа объекта в соответствующий контейнер;

ж) процесс захвата твердых отходов повторяют столько раз, сколько объектов было распознано на круге;

з) в случае, если на полукруге не было распознано ни одного объекта, выполняют команду поворота стола по часовой стрелке на N градусов и повторяют шаги а) – ж).