Область техники, к которой относится изобретение
Настоящая заявка относится, в общем, к области технологий производственного оборудования и, в частности, к способу и системе интеллектуального контроля выгрузки для бетоносмесительной установки.
Уровень техники
В настоящее время бетон находит все большее применение. Бетон, после его производства на бетоносмесительной установке, необходимо транспортировать на строительную площадку с использованием автобетоносмесителя для таких операций, как перекачка или заливка. Процесс подачи бетона из бетоносмесительной установки в автобетоносмеситель является процессом выгрузки бетоносмесительной установки. Однако в процессе выгрузки бетоносмесительной установки часто происходит выплескивание, что может привести к образованию отходов бетона и увеличению затрат. Таким образом, большое значение имеет предотвращение выплескивания во время процесса выгрузки бетоносмесительной установки.
В родственных технологиях процесс выгрузки бетоносмесительной установки в основном зависит от ручного контроля, например, ручного контроля, чтобы оценить то, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, ручной оценки того, следует ли начинать выгрузку. Автоматизация контроля выгрузки бетоносмесительной установки находится на низком уровне.
Сущность изобретения
Настоящая заявка предоставляет способ и систему интеллектуального контроля выгрузки бетоносмесительной установки для решения технических проблем, существующих в известном уровне техники, в которых процесс выгрузки бетоносмесительной установки в основном зависит от ручного контроля и автоматизации контроля выгрузки бетоносмесительной установки находится на низком уровне.
Настоящая заявка предоставляет способ интеллектуального контроля выгрузки бетоносмесительной установки, включающий в себя:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и
обнаружение и идентификацию первого видеокадра на основе заданной алгоритмической модели и контроль выгрузки бетоносмесительной установки на основе результата идентификации.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, контроль выгрузки бетоносмесительной установки на основе результата идентификации включает в себя:
если результатом идентификации является то, что первый видеокадр включает в себя бункер автобетоносмесителя, определение информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра;
определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и заданной ключевой информации о позиции выгружного отверстия бетоносмесительной установки; и
если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправку первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, первый управляющий сигнал используется для указания начала выгрузки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, если бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправка первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, включает в себя:
Если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель, соответствующий бункеру автобетоносмесителя, находится в стационарном состоянии, отправку первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, способ дополнительно включает в себя:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра, определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра; и
выработку второго управляющего сигнала на основе состояния местоположения материала и отправку второго управляющего сигнала в систему управления бетоносмесительной установки, причем второй управляющий сигнал используется для указания регулировки скорости выгрузки или остановки выгрузки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра включает в себя:
определение состояния местоположения материала бункера автобетоносмесителя на основе информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра включает в себя:
выполнение сегментации на уровне пикселей на изображении зоны бункера автобетоносмесителя во втором видеокадре и определение внешней границы бетона и внешней границы бункера автобетоносмесителя в зоне бункера автобетоносмесителя на основе результата сегментации на уровне пикселей; и
определение состояния местоположения материала в бункере автобетоносмесителя на основе внешней границы бетона и внешней границы бункера автобетоносмесителя.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, способ дополнительно включает в себя:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и идентификацию формы бетона в зоне бункера автобетоносмесителя во втором видеокадре; и
выработку третьего управляющего сигнала на основе результата идентификации формы бетона, причем третий управляющий сигнал используется для указания регулировки скорости выгрузки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, определение информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра включает в себя:
ввод первого видеокадра в заданную алгоритмическую модель идентификации бункера автобетоносмесителя для получения информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре, выводимом алгоритмической моделью идентификации бункера автобетоносмесителя.
Весовой параметр в алгоритмической модели идентификации бункера автобетоносмесителя обучается на основе образца изображения с меткой бункера автобетоносмесителя.
Согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренному настоящей заявкой, определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки включает в себя:
определение информации о позиции центральной точки бункера автобетоносмесителя на основе информации о позиции ключевой точки бункера автобетоносмесителя; и
определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции центральной точки бункера автобетоносмесителя и заданной информации о позиции центральной оси выгружного отверстия бетоносмесительной установки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, первый видеокадр захватывается камерой контроля;
Соответственно, перед определением того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и заданной ключевой информации о позиции выгружного отверстия бетоносмесительной установки, способ дополнительно включает в себя:
выполнение коррекции искажений информации о позиции ключевой точки бункера автобетоносмесителя на основе заданной матрицы внутренних параметров и заданного коэффициента искажений камеры контроля для получения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений; и
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки включает в себя:
определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки. Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, первый видеокадр захватывается камерой контроля, и первый видеокадр является видеокадром, захваченным камерой контроля после изменения угла съемки;
Соответственно, после определения информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра, способ дополнительно включает в себя:
получение матрицы гомографии на основе первого видеокадра и опорного видеокадра, где опорный видеокадр является видеокадром, захваченным камерой контроля до изменения угла съемки;
выполнение коррекции отображения информации о позиции ключевой точки бункера автобетоносмесителя на основе матрицы гомографии для получения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения; и
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки включает в себя:
определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному настоящей заявкой, камера контроля представляет собой красно-зелено-синюю (RGB) камеру или времяпролетную (TOF) камеру глубокого зондирования.
Настоящая заявка дополнительно предоставляет систему интеллектуального контроля выгрузки бетоносмесительной установки, включающую в себя:
модуль получения видео контроля, выполненный с возможностью получения видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и
модуль контроля выгрузки, выполненный с возможностью обнаружения и идентификации первого видеокадра на основе заданной алгоритмической модели и контроля выгрузки бетоносмесительной установки на основе результата идентификации. Настоящая заявка дополнительно предоставляет электронное устройство, включающее в себя память, процессор и компьютерную программу, хранящуюся в памяти и способную работать на процессоре, где процессор исполняет компьютерную программу для реализации этапов способа интеллектуального контроля выгрузки для бетоносмесительной установки, описанного выше.
Настоящая заявка дополнительно предоставляет энергонезависимый машиночитаемый носитель информации, где энергонезависимый машиночитаемый носитель информации хранит компьютерную программу, и процессор исполняет компьютерную программу для реализации этапов способа интеллектуального контроля выгрузки для бетоносмесительной установки, описанного выше.
Способ интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренный настоящей заявкой, включает в себя: получение видеокадра контроля выгружной зоны бетоносмесительной установки, идентификацию видеокадра контроля на основе заданной алгоритмической модели и контроль процесс выгрузки бетоносмесительной установки на основе результата идентификации. Согласно этому способу ручное участие в процессе контроля выгрузки не требуется, могут быть реализованы автоматизация и функции интеллектуального контроля выгрузки, повышен уровень автоматизации контроля выгрузки для бетоносмесительной установки, гарантируется эффект контроля процесса выгрузки, и, таким образом, повышается эффективность системы управления при выгрузке.
Краткое описание чертежей
Для того, чтобы более четко описать техническое решение, представленное в настоящей заявке или в предшествующем уровне техники, ниже будут кратко представлены сопроводительные чертежи, необходимые для пояснения вариантов осуществления или предшествующего уровня техники. Очевидно, что сопроводительные чертежи в последующем описании представляют собой некоторые варианты осуществления настоящей заявки. Специалисты в данной области техники могут получить другие чертежи на основе этих чертежей без приложения творческих усилий.
фиг.1 – блок-схема способа интеллектуального контроля выгрузки бетоносмесительной установки согласно варианту осуществления настоящей заявки.
фиг.2 – схематичное представление зоны бункера автобетоносмесителя согласно варианту осуществления настоящей заявки.
фиг.3 – схематичное представление положений установки двух камер контроля согласно варианту осуществления настоящей заявки.
фиг.4 – схематичное представление блок-схемы последовательности операций способа интеллектуального контроля выгрузки бетоносмесительной установки дозирования согласно варианту осуществления настоящей заявки.
фиг.5 – схематичное представление структурной схемы системы интеллектуального контроля выгрузки для бетоносмесительной установки согласно варианту осуществления настоящей заявки.
фиг.6 – схематичное представление конкретной структурной схемы системы интеллектуального контроля выгрузки бетоносмесительной установки согласно варианту осуществления настоящей заявки.
фиг.7 – схематичное представление структурной схемы электронного устройства согласно настоящей заявке.
Подробное описание изобретения
Для того, чтобы сделать задачу, техническое решение и преимущество настоящей заявки более понятными, ниже ясно и полностью описано техническое решение, предложенное в настоящей заявке, со ссылкой на сопроводительные чертежи, представленные в настоящей заявке. Очевидно, описанные варианты осуществления являются лишь некоторыми, но не всеми вариантами осуществления настоящей заявки. Все другие варианты осуществления, полученные специалистом в данной области техники на основе вариантов осуществления настоящей заявки без приложения творческих усилий, подпадают под объем охраны настоящей заявки.
Во время процесса выгрузки бетоносмесительной установки часто происходит явление выплескивания, которое может привести к образованию отходов бетона и увеличению затрат. В предшествующем уровне техники, чтобы предотвратить явление выплескивания, устройство для предотвращения выплескивания при выгрузке бетоносмесительной установки, как правило, стационарно устанавливается на выходе бетоносмесительной установки. Устройство контролирует текущую высоту местоположения материала с помощью датчика расстояния, закрепленного снаружи приемного бункера, передает текущее значение высоты местоположения материала в устройство обнаружения загрузки автобетоносмесителя и управляет выгружным затвором с помощью устройства регулировки расхода.
Однако из-за различных размеров и высоты автобетоносмесителей датчик расстояния может быть не адаптирован к автобетоносмесителям различных типов транспортных средств. Кроме того, так как бункер автобетоносмесителя может быть выровнен только в заданном диапазоне, когда водитель автобетоносмесителя меняет направление движения, и размеры бункеров автобетоносмесителя являются разными, эффект определения высоты местоположения материала для автобетоносмесителей одинаковой высоты с помощью датчика расстояния является разным. Датчик расстояния измеряет расстояние от точки к точке, и высота местоположения материала в бункере автобетоносмесителя является неравномерной, что приводит к плохому эффекту измерения датчиком расстояния. Датчик расстояния устанавливается снаружи приемного бункера, легко покрывается бетоном и порошковым цементом, что отрицательно влияет на эффект измерения. Кроме того, это решение не позволяет определять то, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, по-прежнему требует ручной оценки и не позволяет непосредственно измерять высоту местоположения материала или контролировать выгрузку. По этой причине варианты осуществления настоящей заявки предусматривают способ интеллектуального контроля выгрузки бетоносмесительной установки.
На фиг.1 показана блок-схема последовательности операций способа. Как показано на фиг.1, способ включает в себя следующий этап.
S1: Получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра.
S2: Обнаружение и идентификация первого видеокадра на основе заданной алгоритмической модели и контроль выгрузки бетоносмесительной установки на основе результата идентификации.
В частности, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, исполнительным органом способа может быть встроенный периферийный вычислительный модуль. Модуль может быть сконфигурирован в составе системы интеллектуального контроля выгрузки бетоносмесительной установки. Система интеллектуального контроля выгрузки бетоносмесительной установки может быть установлена в центральной диспетчерской бетоносмесительной установки. Процесс, при котором бетоносмесительная установка подает смешанный бетон в автобетоносмеситель через выгружное отверстие бетоносмесительной установки и бункер автобетоносмесителя, представляет собой процесс выгрузки. Способ интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренный вариантами осуществления настоящей заявки, используется для контроля процесса выгрузки, например, для контроля того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, для контроля информации о выгрузке бетоносмесительной установки и выявление формы бетона в бункере автобетоносмесителя.
Сначала выполняется этап S1. Первый видеокадр может быть захвачен камерой контроля и загружен во встроенный модуль периферийных вычислений. Видеокадр контроля выгружной зоны бетоносмесительной установки, полученный встроенным модулем периферийных вычислений, включает в себя бункер автобетоносмесителя. Получение видеокадра контроля может выполняться в реальном времени, чтобы показывать в реальном времени изображение выгружного отверстия бетоносмесительной установки.
Затем выполняется этап S2. Заданная алгоритмическая модель может быть моделью, основанной на алгоритме машинного зрения на основе искусственного интеллекта или родственном алгоритме. В варианте осуществления настоящей заявки для извлечения признака из первого видеокадра может использоваться режим, основанный на алгоритме глубинного обучения. Первый видеокадр может быть обнаружен и идентифицирован на основе извлеченного признака. Результатом идентификации может быть информация о местоположении материала текущего бетона в бункере автобетоносмесителя. Основываясь на информации о местоположении материала, определяют, пролился ли текущий бетон, расход бетона, информацию об изменении местоположения материала бетона и информацию о форме текущего бетона. На основе результатов идентификации может быть выполнен контроль выгрузки бетоносмесительной установки.
Способ интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренный вариантом осуществления настоящей заявки, включает в себя: получение первого видеокадра выгружной зоны бетоносмесительной установки, идентификацию первого видеокадра на основе заданной алгоритмической модели, и контроль процесса выгрузки бетоносмесительной установки на основе результата идентификации. Согласно способу ручное участие в процессе контроля выгрузки не требуется, может быть реализована автоматизация контроля выгрузки, гарантируется эффект контроля процесса выгрузки и, таким образом, повышается эффективность выгрузки системы управления.
Основываясь на вышеупомянутом варианте осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, контроль выгрузки бетоносмесительной установки на основе результата идентификации включает в себя следующие этапы.
Если результатом идентификации является то, что первый видеокадр включает в себя бункер автобетоносмесителя, определение информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
Если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправку первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, первый управляющий сигнал используется для указания начала выгрузки.
В частности, так как смесительный бункер пошагово входит в зону контроля, в кадре видеоконтроля может отсутствовать бункер автобетоносмесителя. Таким образом, необходимо выполнить глобальную идентификацию по первому видеокадру, чтобы определить то, появляется ли бункер автобетоносмесителя в первом видеокадре. Когда определяется, что бункер автобетоносмесителя появляется в первом видеокадре, первый видеокадр обрабатывается для получения информации о позиции ключевой точки бункера автобетоносмесителя. Ключевой точкой является точка с определенным признаком на внешней границе бункера автобетоносмесителя. То есть полученные ключевые точки расположены на участке бункера автобетоносмесителя и находятся на равном расстоянии от центра бункера автобетоносмесителя. Информация о местоположении здесь может быть координатой. Информация о позиции ключевой точки бункера автобетоносмесителя может быть представлена координатой, то есть координатой ключевой точки бункера автобетоносмесителя.
В варианте осуществления настоящей заявки может быть выполнен большой объем обучения модели сети региональных предложений (RPN), дополненной головным модулем обнаружения ключевой точки и модулем заголовка кадра обнаружения цели, так что модель RPN может напрямую возвращать координату ключевой точки бункера автобетоносмесителя в первом видеокадре. Информация о заданной ключевой позиции выгружного отверстия бетоносмесительной установки может представлять собой информацию о позиции центральной оси, определенной заранее, выгружного отверстия бетоносмесительной установки. Информация о позиции центральной оси может устанавливаться в соответствии с реальной ситуацией. Это конкретно не ограничено в варианте осуществления настоящей заявки.
Путем сравнения расстояния между информацией о позиции ключевой точки бункера автобетоносмесителя и заданной информацией о позиции выгружного отверстия бетоносмесительной установки можно определить то, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки. Если кратчайшее расстояние по вертикали между информацией о позиции ключевой точки бункера автобетоносмесителя и информацией о заданной позиции выгружного отверстия бетоносмесительной установки находится в заданном диапазоне, это означает, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки. Заданный диапазон может быть установлен в соответствии с фактическими потребностями. Это конкретно не ограничено в варианте осуществления настоящей заявки.
Когда бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, выгрузка может начаться в данный момент, и первый управляющий сигнал, соответствующий выгружному отверстию бетоносмесительной установки, может быть отправлен в систему управления бетоносмесительной установки. Первый управляющий сигнал включает в себя инструкцию начать выгрузку, то есть выгрузка может быть начата тогда, когда система управления бетоносмесительной установки приняла первый управляющий сигнал.
В варианте осуществления настоящей заявки информация о позиции ключевой точки бункера автобетоносмесителя и информация о заданной позиции выгружного отверстия бетоносмесительной установки могут быть координатами в мировой системе координат или могут быть координатами в любой системе координат и просто гарантировать, что они сравниваются в одной и той же системе координат. Система координат конкретно не ограничена в варианте осуществления настоящей заявки. Мировая система координат относится к системе координат трехмерного мира, определяемой пользователем, и вводится для описания положения целевого объекта в реальном мире.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, посредством видеокадра контроля выгружной зоны бетоносмесительной установки, при появлении бункера автобетоносмесителя в кадре видеоконтроля идентифицируется первый видеокадр, получается информация о позиции ключевой точки бункера автобетоносмесителя, сравниваются информация о позиции ключевой точки бункера автобетоносмесителя и заданная ключевая информация о позиции выгружного отверстия бетоносмесительной установки, чтобы определить то, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки. Первый управляющий сигнал отправляется в систему управления бетоносмесительной установки, соответствующий выгружному отверстию бетоносмесительной установки, после определения того, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, чтобы указать, что выгрузка может начаться в данный момент. Этот способ контролирует процесс выгрузки с помощью видеокадра контроля, может автоматически определять то, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, не требует ручного управления, на него нелегко воздействовать людьми, и он позволяет избежать потерь бетона в процессе выгрузки, так как бункер автобетоносмесителя не выровнен с выгружным отверстием бетоносмесительной установки.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренным вариантом осуществления настоящей заявки, если бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправка первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, включает в себя следующий этап.
Если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель, соответствующий бункеру автобетоносмесителя, находится в стационарном состоянии, отправку первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки.
В варианте осуществления настоящей заявки, когда бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, указывается, что, если выгрузка начинается в данный момент, бетон может быть точно выгружен из выгружного отверстия бетоносмесительной установки бетоносмесительной установки в бункер автобетоносмесителя. Однако также необходимо определить состояние автобетоносмесителя. Так как, когда автобетоносмеситель находится в стационарном состоянии, может быть гарантирована стабильность процесса выгрузки. Таким образом, после определения того, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, следует также определить то, остановился ли в данный момент автобетоносмеситель, соответствующий бункеру автобетоносмесителя.
После определении того, остановился ли автобетоносмеситель, соответствующий бункеру автобетоносмесителя, можно определить то, находится ли изменение информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре в пределах заданного диапазона расстояний. Если изменение информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре в пределах заданного диапазона времени находится в пределах заданного диапазона расстояний, это означает, что автобетоносмеситель остановился, и можно начинать выгрузку. Заданный диапазон времени и заданный диапазон расстояний могут быть установлены в соответствии с реальной потребностью. Это конкретно не ограничено в варианте осуществления настоящей заявки. В данный момент первый управляющий сигнал, соответствующей выгружному отверстию бетоносмесительной установки, может быть отправлен в систему управления бетоносмесительной установки, указывая то, что бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки готовы и могут начать разгружаться.
Способ интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренный вариантом осуществления настоящей заявки, отправляет первый управляющий сигнал, соответствующий выгружному отверстию бетоносмесительной установки, в систему управления бетоносмесительной установки тогда, когда автобетоносмеситель бункер выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель, соответствующий бункеру автобетоносмесителя, находится в стационарном состоянии, что указывает на то, что в данный момент может начаться выгрузка, таким образом обеспечивая точное попадание бетона в бункер автобетоносмесителя из выгружного отверстия бетоносмесительной установки и предотвращая отходы бетона.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, способ дополнительно включает в себя следующие этапы.
Получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра.
Выработку второго управляющего сигнала на основе состояния местоположения материала и отправку второго управляющего сигнала в систему управления бетоносмесительной установки, причем второй управляющий сигнал используется для указания регулировки скорости выгрузки или остановки выгрузки.
В частности, в варианте осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, второй видеокадр может быть получен путем получения видеокадра контроля выгружной зоны бетоносмесительной установки, и процесс выгрузки можно контролировать на основе второго видеокадра. Второй видеокадр может быть извлечен из видео контроля. Количество вторых видеокадров, извлеченных из видео контроля, может быть равно двум или более. Извлеченный второй видеокадр может быть непрерывным или прерывистым. Процесс извлечения второго видеокадра из видео контроля является процессом дискретизации, и частота дискретизации может быть установлена в соответствии с реальной потребностью. Это конкретно не ограничено в варианте осуществления настоящей заявки. На фиг.2 показано схематичное представление зоны бункера автобетоносмесителя в варианте осуществления настоящей заявки.
После получения второго видеокадра состояние местоположения материала в бункере автобетоносмесителя может быть определено путем идентификации второго видеокадра. В варианте осуществления настоящей заявки идентификация состояния местоположения материала может быть основана на способе структурного распознавания образов, структурном распознавании образов или распознавании на основе глубокого обучения для определения состояния местоположения материала в бункере автобетоносмесителя.
Состояние местоположения материала в бункере автобетоносмесителя может включать в себя информацию о высоте местоположения материала, информацию об изменении местоположения материала и расход выгрузки. Определение информации о высоте местоположения материала может состоять в определении того, не произошло ли выплескивание из бункера автобетоносмесителя. Определение информации об изменении местоположения материала может состоять в определении скорости изменения местоположения материала в текущем бункере автобетоносмесителя. Информация об изменении местоположения материала может включать в себя информацию о направлении изменения местоположения материала и информацию о скорости изменения местоположения материала. Информация о направлении изменения местоположения материала может включать в себя информацию о повышении местоположения материала и информацию о снижении местоположения материала. Расход при выгрузке относится к количеству бетона, которое поступает в бункер автобетоносмесителя в единицу времени.
В варианте осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, принимается сигнал обратной связи, возвращаемый системой управления бетоносмесительной установки в ответ на первый управляющий сигнал. Так как первый управляющий сигнал используется для указания начала выгрузки, при приеме сигнала обратной связи, соответствующего первому управляющему сигналу, указывается, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель находится в стационарном состоянии, и можно начинать выгрузку. Таким образом, состояние местоположения материала в бункере автобетоносмесителя может быть определено на основе второго видеокадра, когда принимается сигнал обратной связи, возвращаемый системой управления бетоносмесительной установки в ответ на первый управляющий сигнал.
В варианте осуществления настоящей заявки второй управляющий сигнал может вырабатываться на основе определенного состояния местоположения материала, и второй управляющий сигнал отправляется в систему управления бетоносмесительной установки. Так как второй управляющий сигнал определяется на основе состояния местоположения материала в бункере автобетоносмесителя, второй управляющий сигнал может использоваться для указания регулировки скорости выгрузки или остановки выгрузки. Например, когда определяется, что состояние местоположения материала в бункере автобетоносмесителя близко к заданному критическому значению, второй управляющий сигнал может использоваться для указания остановки выгрузки; и, когда определяется, что скорость подъема материала в месте местоположения материала меньше заданной скорости, второй управляющий сигнал может использоваться для указания ускорения скорости выгрузки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, состояние местоположения материала в бункере автобетоносмесителя определяется на основе второго видеокадра, второй управляющий сигнал вырабатывается на основе состояние местоположения материала, и второй управляющий сигнал отправляется в систему управления бетоносмесительной установки, чтобы отрегулировать скорость выгрузки или остановить выгрузку. Таким образом, скорость выгрузки может регулироваться в зависимости от фактического местоположения материала, и выгрузка может быть остановлена тогда, когда бункер автобетоносмесителя близок к выплескиванию, предотвращая потери бетона, вызванные выплескиванием, и повышая эффективность выгрузки.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра включает в себя следующее: этап.
Определение состояния местоположения материала в бункере автобетоносмесителя на основе информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре.
В частности, после получения второго видеокадра, может быть глобально идентифицирован второй видеокадр, может быть определено изображение зоны бункера автобетоносмесителя во втором видеокадре, могут быть проанализирована информация о пикселях изображения зоны бункера автобетоносмесителя, и может быть определено местоположение материала в бункере автобетоносмесителя. Информация о пикселях изображения может включать в себя значение каждой точки пикселя на изображении.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, определяется состояние местоположения материала бункера автобетоносмесителя путем получения информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре. Таким образом, реализован контроль состояния местоположения материала в процессе выгрузки бункера автобетоносмесителя в реальном времени, что позволяет избежать потерь, вызванных проливанием.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра включает в себя следующие этапы:
Выполнение сегментации на уровне пикселей на изображении зоны бункера автобетоносмесителя во втором видеокадре и определение внешней границы бетона и внешней границы бункера автобетоносмесителя в зоне бункера автобетоносмесителя на основе результата сегментации на уровне пикселей.
Определение состояния местоположения материала в бункере автобетоносмесителя на основе внешней границы бетона и внешней границы бункера автобетоносмесителя.
В варианте осуществления настоящей заявки, после получения второго видеокадра, сегментация на уровне пикселей может быть выполнена на изображении зоны бункера автобетоносмесителя во втором видеокадре. Сегментация на уровне пикселей может быть выполнена путем ввода изображения зоны бункера автобетоносмесителя в модель нейронной сети семантической сегментации, то есть выполнение сегментации на уровне пикселей изображения зоны бункера автобетоносмесителя осуществляется с помощью модели нейронной сети семантической сегментации. Модель нейронной сети семантической сегментации может выводить зону бетона, зону внутренней стенки бункера автобетоносмесителя и зону внешнего края бункера автобетоносмесителя на изображении зоны бункера автобетоносмесителя. В частности, модель нейронной сети семантической сегментации может быть построена на основе Mask RCNN.
В варианте осуществления настоящей заявки посредством результата сегментации на уровне пикселей могут быть получены конкретная внешняя граница и внешняя граница бункера автобетоносмесителя. Внешней границей зоны бетона является внешняя граница бетона. Внешняя граница зоны внешней края бункера автобетоносмесителя является внешней границей бункера автобетоносмесителя. Затем на основе внешней границы бетона и внешней границы бункера автобетоносмесителя определяется состояние местоположения материала бункера автобетоносмесителя. Состояние местоположения материала означает то же самое, что и выше.
При контроле информации о высоте местоположения материала среди состояния местоположения материала на основе внешней границы бетона и внешней границы бункера автобетоносмесителя, сначала радиус сечения бетона и радиус сечения бункера автобетоносмесителя могут быть определены, соответственно, на основе на внешней границы бетона и внешней границы бункера автобетоносмесителя и на основе размера двух радиусов, косвенно определяется то, превышает ли информация о высоте местоположения материала высоту бункера автобетоносмесителя, чтобы вызвать выплескивание. Так как бетон содержится в бункере автобетоносмесителя, центр сечения бетона совпадает с центром сечения бункера автобетоносмесителя, и оба сечения концентричны. Радиус сечения бункера автобетоносмесителя является фиксированным. Когда радиус сечения бетона близок или равен радиусу сечения бункера автобетоносмесителя, это указывает на то, что произойдет выплескивание.
При контроле информации об изменении местоположения материала в состоянии местоположения материала на основе внешней границы бетона и внешней границы бункера автобетоносмесителя можно косвенно определить информацию об изменении местоположения материала посредством информации о направлении изменения радиуса сечения бетона по меньшей мере на двух последовательных вторых видеокадрах. Если радиус увеличивается, положение материала повышается. Если радиус уменьшается, положение материала уменьшается. Информация о скорости изменения местоположения материала может быть косвенно определена на основе информации о скорости изменения радиуса. В данном документе информация о скорости изменения местоположения материала может рассматриваться как информация о скорости изменения радиуса.
При контроле расхода выгрузки в состоянии местоположения материала на основе внешней границы бетона и внешней границы бункера автобетоносмесителя расход выгрузки можно оценить на основе информации о скорости изменения местоположения материала.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, местоположение материала бункера автобетоносмесителя в процессе выгрузки можно контролировать путем выполнения семантической сегментации на последовательных вторых видеокадрах во избежание потерь, вызванных выплескиванием. Таким образом, точность контроля выше по сравнению с определением местоположения материала бункера автобетоносмесителя непосредственно с использованием информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, способ дополнительно включает в себя следующие этапы.
Получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра, идентификацию формы бетона в зоне бункера автобетоносмесителя во втором видеокадре и выработку третьего управляющего сигнала на основе результата идентификации формы бетона, причем третий управляющий сигнал используется для указания регулировки скорости выгрузки.
В частности, в варианте осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, второй видеокадр может быть получен путем получения видеокадра контроля выгружной зоны бетоносмесительной установки. Затем, для определения формы бетона, идентифицируется зона бункера автобетоносмесителя во втором видеокадре.
В варианте осуществления настоящей заявки модуль классификации может быть добавлен на основе признака бетона выгружной зоны, извлеченного из модели магистральной сети Mask RCNN для идентификации формы. Сетевой вес модифицированного вновь добавленного модуля классификации получается путем обучения на основе метки формы бетона. Изображение зоны бункера автобетоносмесителя в текущем втором видеокадре вводится во вновь добавленный модуль нейронной сети классификации, модифицированный с использованием Mask RCNN, и выводится форма бетона, то есть текущий бетон сухой или тонкий. Третий управляющий сигнал вырабатывается на основе результата идентификации формы бетона. Третий управляющий сигнал отправляется в систему управления бетоносмесительной установки, соответствующий выгружному отверстию бетоносмесительной установки. Третий управляющий сигнал включает в себя указание регулировки скорости выгрузки. Например, когда форма идентифицированного бетона является пересушенной, третий управляющий сигнал может использоваться для указания замедления скорости выгрузки.
В варианте осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, будет принят сигнал обратной связи, возвращенный системой управления бетоносмесительной установки в ответ на первый управляющий сигнал. Так как первый управляющий сигнал используется для указания начала выгрузки, при приеме сигнала обратной связи первого управляющего сигнала указывается то, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель находится в стационарном состоянии, чтобы можно было начать выгрузку.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, за счет идентификации формы бетона, предотвращается пересушивание или разжижение бетона, и гарантируется качество бетона.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, способ дополнительно включает в себя следующие этапы.
Получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра.
Определение местоположения материала бункера автобетоносмесителя на основе второго видеокадра и идентификации формы бетона в зоне бункера автобетоносмесителя во втором видеокадре.
Выработка целевого управляющего сигнала на основе состояния местоположения материала и результата идентификации формы бетона. Форма бетона используется для указания регулировки скорости выгрузки или остановки выгрузки.
В частности, в варианте осуществления настоящей заявки после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, видеокадр контроля выгружной зоны бетоносмесительной установки может быть сначала получен для получения второго видеокадра, и затем, путем идентификации второго видеокадра, можно определить состояние местоположения материала в бункере автобетоносмесителя и результат идентификации формы бетона в зоне бункера автобетоносмесителя. Наконец, основываясь на состоянии идентифицированного местоположения материала и результате идентификации формы бетона, вырабатывается целевой управляющий сигнал для указания регулировки скорости выгрузки или остановки выгрузки.
Согласно варианту осуществления настоящей заявки, путем идентификации второго видеокадра можно синхронно определить состояние местоположения материала в бункере автобетоносмесителя и результат идентификации формы бетона в зоне бункера автобетоносмесителя. Отходы, вызванные выплескиванием, можно избежать, и можно также гарантировать качество бетона. Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, определение информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра включает в себя следующий этап.
Ввод первого видеокадра в заданную алгоритмическую модель идентификации бункера автобетоносмесителя для получения информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре, выводимом алгоритмической моделью идентификации бункера автобетоносмесителя.
Весовой параметр в алгоритмической модели идентификации бункера автобетоносмесителя обучается на основе образца изображения с меткой бункера автобетоносмесителя.
В частности, после того, как получен первый видеокадр, первый видеокадр может быть идентифицирован заданной алгоритмической моделью идентификации бункера автобетоносмесителя для получения информации о позиции ключевой точки бункера автобетоносмесителя. В варианте осуществления настоящей заявки заданная алгоритмическая модель идентификации бункера автобетоносмесителя может представлять собой модель сети региональных предложений (RPN), дополненную головным модулем обнаружения ключевой точки и модулем заголовка кадра обнаружения цели.
Информация о позиции ключевой точки, определенной в варианте осуществления настоящей заявки, может быть координатой в пиксельной системе координат. Пиксельная система координат введена для описания координат точки изображения на цифровом изображении после формирования изображения объекта и представляет собой систему координат, где информация действительно может быть считана с камеры контроля. Так как бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки можно сравнивать в мировой системе координат для выравнивания, когда бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки сравнивают в мировой системе координат для выравнивания, информация о позиции ключевой точки может быть преобразована в мировую систему координат, так что действие сравнения выполняется плавно. В варианте осуществления настоящей заявки информация о позиции ключевой точки в пиксельной системе координат преобразуется в мировую систему координат путем выполнения обратного перспективного преобразования на основе матрицы внутренних параметров и матрицы внешних параметров камеры контроля или обратной матрицы гомографии. Обратное перспективное преобразование является обратным преобразованием перспективного преобразования. Перспективное преобразование относится к проецированию изображения на новую плоскость просмотра. Матрица гомографии относится к матрице преобразования, соответствующей гомографии. Гомография описывает отношение отображения положения между мировой системой координат и пиксельной системой координат. Матрица гомографии может быть рассчитана по матрице внутренних параметров и матрице внешних параметров камеры контроля. Матрица внешних параметров камеры контроля может включать в себя матрицу вращения и матрицу трансляций. Матрица внутренних параметров и матрица внешних параметров камеры контроля могут быть получены путем калибровки камеры контроля.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, за счет вычисления информации о позиции ключевой точки координат бункера автобетоносмесителя, становится удобным сравнение того, выровнены ли бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки в той же самой системе координат. Таким образом, повышается точность определения.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки для бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки, включает в себя следующие этапы.
Определение информации о позиции центральной точки бункера автобетоносмесителя на основе информации о позиции ключевой точки бункера автобетоносмесителя.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции центральной точки бункера автобетоносмесителя и заданной информации о позиции центральной оси выгружного отверстия бетоносмесительной установки.
В частности, в варианте осуществления настоящей заявки на бункере автобетоносмесителя может быть по меньшей мере три ключевых точки. Согласно трехточечному способу нахождения центра окружности информация о позиции по меньшей мере трех ключевых точек может использоваться для определения координат центральной точки бункера автобетоносмесителя. Координаты центральной точки могут быть координатами в мировой системе координат.
В варианте осуществления настоящей заявки, так как выгружное отверстие бетоносмесительной установки зафиксировано в позиции бетоносмесительной установки, и выгружное отверстие бетоносмесительной установки представляет собой конструкцию «ведерного» типа с круглым поперечным сечением, таким образом, информация о позиции центральной оси выгружного отверстия бетоносмесительной установки может быть установлена в программном обеспечении системы интеллектуального контроля выгрузки бетоносмесительной установки. Наконец, выполняется сравнение минимального расстояния по вертикали между координатой центральной точки бункера автобетоносмесителя и информацией о позиции центральной оси выгружного отверстия бетоносмесительной установки. Если минимальное расстояние по вертикали находится в заданном диапазоне, можно определить то, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки. Заданный диапазон может быть установлен в соответствии с реальной ситуацией. Это конкретно не ограничено в варианте осуществления настоящей заявки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, за счет вычисления минимального расстояния по вертикали между координатами центральной точки бункера и информацией о позиции центральной оси выгружного отверстия бетоносмесительной установки, определяется то, выровнены ли бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки. Бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки могут быть более точно выровнены, и сокращается количество отходов бетона в процессе выгрузки.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, первый видеокадр захватывается камерой контроля.
Соответственно, перед определением того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, основываясь на информации о позиции ключевой точки бункера автобетоносмесителя и заданной информации о ключевом позиции выгружного отверстия бетоносмесительной установки способ дополнительно включает в себя следующий этап.
Выполнение коррекции искажений информации о позиции ключевой точки бункера автобетоносмесителя на основе заданной матрицы внутренних параметров и заданного коэффициента искажений камеры контроля для получения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, основываясь на информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки включает в себя: следующий этап.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
В частности, в варианте осуществления настоящей заявки первый видеокадр может быть захвачен камерой контроля. Камера контроля может представлять собой оригинальные аппаратные средства камеры бетоносмесительной установки и может иметь функцию получения изображения контроля выгружной зоны бетоносмесительной установки. Местом установки камеры контроля может быть стена, противоположная выгружному отверстию бетоносмесительной установки, и высота установки является высотой, достаточной для контроля за полным бункером автобетоносмесителя. Камера контроля также может быть, соответственно, установлена на пересечении линии продолжения обратного пути автобетоносмесителя и выгружного отверстия бетоносмесительной установки и стены бетоносмесительной установки и на пересечении прямой линии, проходящей через центр выгружного отверстия бетоносмесительной установки перпендикулярно обратному пути автобетоносмесителя и стене бетоносмесительной установки. Процесс выгрузки контролируется совместными действиями двух камер контроля. На фиг.3 показана схема позиций установки двух камер контроля в варианте осуществления настоящей заявки. На фиг.3 камера 31 контроля и камера 32 контроля установлены на стене 33 бетоносмесительной установки и обе обращены к выгружному отверстию 34 бетоносмесительной установки. Выгружное отверстие 34 бетоносмесительной установки находится на обратном пути автобетоносмесителя 35. Направление стрелки, показанной на фиг.3, является направлением движения автобетоносмесителя 35 в обратном направлении.
В варианте осуществления настоящей заявки для получения более точной информации о позиции ключевой точки бункера автобетоносмесителя также требуется коррекция искажений перед вычислением информации о позиции ключевой точки бункера автобетоносмесителя. Коррекция искажений достигается за счет заданной матрицы внутренних параметров камеры контроля и заданного коэффициента искажений. Заданная матрица внутренних параметров камеры контроля относится к матрице, состоящей из параметров, относящихся к камере контроля и не относящихся к внешней среде. Заданная внутренняя матрица параметров камеры контроля может быть матрицей размером 3*3. Заданную матрицу внутренних параметров можно получить путем калибровки камеры контроля способом калибровки одноплоскостного разграфленного шаблона. Этапы способа калибровки могут включать в себя: распечатку разграфленного шаблона и нанесение его на плоскую поверхность в качестве калибратора, и также фотографирование различных направлений для калибратора путем регулировки направления калибратора или камеры контроля. Угловая точка извлекается из изображений. В идеальной ситуации без искажений, пять внутренних параметров и шесть внешних параметров оцениваются для получения заданной матрицы внутренних параметров и матрицы внешних параметров камеры контроля.
В варианте осуществления настоящей заявки искажение относится к смещению прямолинейной проекции. Искажение является неотъемлемой характеристикой камеры контроля. Камера контроля может быть откалибрована один раз, как внутренний параметр камеры контроля. В варианте осуществления настоящей заявки может быть скорректировано радиальное искажение камеры контроля. Радиальное искажение включает в себя искажение «ведерного» типа и искажение «подушечного» типа. Радиальное искажение возникает из-за формы объектива. Для радиального искажений искажение по центру формирователя изображения равно 0. По мере продвижения к краю искажение становится все более и более серьезным. Заданный коэффициент искажений радиального искажений может быть рассчитан с помощью процесса калибровки камеры, описанного выше, для корректировки информации о позиции. Сначала получают матрицу внутренних параметров и матрицу внешних параметров камеры контроля, затем способом наименьших квадратов оценивают коэффициент искажений при фактическом наличии радиального искажений и, наконец, корректируют информацию о позиции ключевой точки с использованием расширения рядом Тейлора.
После коррекции информации о позиции ключевой точки бункера автобетоносмесителя, можно получить информацию о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений. Затем информация о позиции ключевой точки бункера автобетоносмесителя сравнивается с информацией о заданной ключевой позиции выгружного отверстия бетоносмесительной установки. Если расстояние между ними находится в заданном диапазоне, это означает, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки. Заданный диапазон может быть установлен в соответствии с реальной ситуацией. Это конкретно не ограничено в варианте осуществления настоящей заявки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, за счет установки камеры контроля для контроля за процессом выгрузки, можно быть легко модернизировать бетоносмесительную установку, и уменьшить затраты на аппаратные средства и построение. Положение установки камеры контроля находится далеко от выгружного отверстия бетоносмесительной установки, что затрудняет загрязнение бетоном и воздействие на эффект контроля. Затем выполняется коррекция искажений информации о позиции ключевой точки бункера автобетоносмесителя, чтобы получить информацию о позиции ключевой точки без искажений. Выравнивание между выгружным отверстием бетоносмесительной установки и бункером автобетоносмесителя становится более точным.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, первый видеокадр захватывается камерой контроля, и первый видеокадр является видеокадром, захваченным камерой контроля после изменения угла съемки.
Соответственно, после определения информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра, способ дополнительно включает в себя следующие этапы.
Получение матрицы гомографии на основе первого видеокадра и опорного видеокадра. Опорный видеокадр является видеокадром, захваченным камерой контроля до изменения угла съемки.
Выполнение коррекции отображения информации о позиции ключевой точки бункера автобетоносмесителя на основе матрицы гомографии для получения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и заданной информации о ключевом позиции выгружного отверстия бетоносмесительной установки включает в себя: следующий этап.
Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
В частности, когда камера контроля захватывает видео под разными углами, углы съемки видеокадров, извлеченных из камеры контроля, являются разными. Разность углов может увеличить ошибку распознавания видеокадров. Таким образом, чтобы сделать результат распознавания более точным, первый видеокадр захватывается камерой контроля после изменения угла съемки.
После получения первого видеокадра, зона бункера автобетоносмесителя в первом видеокадре может быть идентифицирована для определения информации о позиции ключевой точки бункера автобетоносмесителя. Однако из-за искажений, вызванных углом съемки, после получения информации о позиции ключевой точки бункера автобетоносмесителя, необходимо отобразить и скорректировать полученную информацию о позиции.
В варианте осуществления настоящей заявки коррекция отображения информации о позиции ключевой точки бункера автобетоносмесителя может выполняться посредством опорного видеокадра. Опорный видеокадр является видеокадром, захваченным камерой контроля до изменения угла съемки. Опорный видеокадр может быть получен с помощью опорной калибровочной пластины. Опорная пластина может быть опорной пластиной с черным квадратом, напечатанным на белом фоне любой плоскости. Камера контроля захватывает опорную пластину перед изменением угла съемки, чтобы получить опорный видеокадр.
После получения первого видеокадра и опорного видеокадра, в варианте осуществления настоящей заявки обнаружение угла подпикселя может быть выполнено для опорного видеокадра на основе opencv, квадратичный полином может использоваться для аппроксимации угла функция отклика в окружающей области размером 3*3, и линейный способ может использоваться для получения угловых координат субпикселя. Функцию corerSubPix() можно использовать для итеративного вычисления координат четырех углов опорной пластины в опорном изображении видеокадра, то есть координат опорной пластины в пиксельной системе координат. В соответствии с вышеупомянутым способом коррекции искажений, координаты четырех углов в пиксельной системе координат корректируются для получения координат четырех углов опорной калибровочной панели без искажений, и затем выполняется коррекция искажений первого видеокадра и коррекция искажений опорного видеокадра.
После завершения коррекции искажений может быть вычислена матрица гомографии первого видеокадра и опорного видеокадра. Гомография плоскости определяется как отображение проекции с одной плоскости на другую плоскость. Основываясь на координатах четырех углов опорной калибровочной панели без искажений и соотношения отображения между первым видеокадром и опорным видеокадром, можно вычислить матрицу гомографии первого видеокадра и опорного видеокадра.
После получения матрицы гомографии первого видеокадра и опорного видеокадра, может быть отображена и скорректирована информация о позиции ключевой точки бункера автобетоносмесителя. Основываясь на матрице гомографии камеры контроля, рассчитанной выше, после непрерывного перспективного преобразования двух матриц гомографии, может быть отображена и скорректирована информация о позиции ключевой точки бункера автобетоносмесителя после изменения угла съемки.
После того, как коррекция отображения завершена, информацию о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения и заданную информацию о ключевом позиции выгружного отверстия бетоносмесительной установки можно использовать для определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки. Если расстояние между информацией о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения и заданной информацией о ключевом позиции выгружного отверстия бетоносмесительной установки находится в заданном диапазоне, это означает то, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки. Заданный диапазон может быть установлен в соответствии с реальной ситуацией. Это конкретно не ограничено в варианте осуществления настоящей заявки.
Затем, на основе матрицы гомографии камеры контроля, после непрерывного перспективного преобразования двух матриц гомографии, координаты ключевой точки бункера автобетоносмесителя после изменения угла съемки могут быть изменены путем коррекции вторичного отображения.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, информация о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре после изменения угла съемки сопоставляется и корректируется посредством опорного видеокадра, так что информация о позиции ключевой точки бункера автобетоносмесителя без искажений может быть также получена после изменения угла съемки, гарантируя при этом, что бункер автобетоносмесителя и выгружное отверстие бетоносмесительной установки могут быть выровнены в одной системе координат.
Основываясь на вышеупомянутых вариантах осуществления, согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, камера контроля представляет собой, в частности, красно-зелено-синюю (RGB) камеру или времяпролетную (TOF) камеру глубокого зондирования.
В частности, RGB в камере RGB относится к красному, зеленому и синему цветам, соответственно. Камера RGB снабжена тремя основными цветовыми компонентами, упомянутыми выше, с помощью трех разных кабелей. В камерах этого типа обычно используются три независимых датчика изображения с зарядовой связью для получения трех цветовых сигналов, упомянутых выше. Камера RGB часто используется для очень точного получения цветного изображения. Камера RGB может быть использована для получения четкого видео контроля за выгружным отверстием бетоносмесительной установки.
В варианте осуществления настоящей заявки TOF-камера глубокого зондирования представляет собой активную камеру, которая может выполнять измерения глубины, освещая область источником инфракрасного света и наблюдая в течение времени, которое требуется для достижения места действия и возвращения на место действия. TOF-камера глубокого зондирования захватывает все поле зрения каждого светового импульса без каких-либо движущихся частей. Таким образом, можно осуществить быстрый сбор данных. TOF-камера глубокого зондирования измеряет большое расстояние и не зависит от изменений освещения и текстуры объекта, имеет высокую частоту кадров и простую программную сложность. Используя TOF-камеру глубокого зондирования, можно получить глубину каждого пикселя на изображении контроля, повышая эффект последующего распознавания информации о выгрузке выгружного отверстия бетоносмесительной установки и делая более точной идентификацию процесса выгрузки.
Согласно способу интеллектуального контроля выгрузки бетоносмесительной установки, предусмотренному вариантом осуществления настоящей заявки, первый видеокадр получают путем получения видеокадра контроля выгружной зоны бетоносмесительной установки. Первый видеокадр обрабатывается тогда, когда в первом видеокадре появляется бункер автобетоносмесителя. Рассчитываются координаты ключевой точки бункера автобетоносмесителя, координаты центральной точки бункера автобетоносмесителя рассчитываются посредством координат ключевой точки бункера автобетоносмесителя, и кратчайшее вертикальное расстояние между центральной точкой бункера автобетоносмесителя и информацией о позиции центральной оси выгружного отверстия бетоносмесительной установки рассчитывается для определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки. При условии, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, зона бункера автобетоносмесителя в видеокадре контроля сегментируется путем сегментации на уровне пикселей, и состояние местоположения материала в бункере автобетоносмесителя контролируется во время процесса выгрузки. За счет определения сегментированного состояния бетона, получается состояние бетона в текущем видео контроля. Этот способ не требует ручного определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, не подвержен ли он влиянию человека, и может применяться к автобетоносмесителям различной высоты и размеров бункера. Он позволяет избежать потерь бетона, вызванных смещением во время процесса выгрузки, позволяет контролировать процесс выгрузки и избежать потерь из-за выплескивания.
На фиг.4 схематично показана конкретная блок-схема способа интеллектуального контроля выгрузки бетоносмесительной установки дозирования согласно варианту осуществления настоящей заявки. Как показано на фиг.4, способ включает в себя следующие этапы.
S41: Получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра.
S42: Вычисление информации о позиции ключевой точки бункера автобетоносмесителя, когда идентифицировано, что бункер автобетоносмесителя появляется в первом видеокадре.
S43: Выполнение коррекции искажений информации о позиции ключевой точки бункера автобетоносмесителя для получения информации о позиции ключевой точки бункера автобетоносмесителя без искажений.
S44: Вычисление информации о позиции центральной точки бункера автобетоносмесителя на основе информации о позиции ключевой точки бункера автобетоносмесителя без искажений.
S45: Определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, то есть определение того, соответствует ли расстояние между центральной точкой бункера автобетоносмесителя и ключевой информацией о позиции выгружного отверстия бетоносмесительной установки в той же системе координат, находится в заданном диапазоне. Если определено, что они выровнены, продолжается этап S46, в противном случае продолжается этап S41.
S46: Определение того, находится ли автобетоносмеситель в стационарном состоянии. Если автобетоносмеситель находится в стационарном состоянии, продолжается этап S47, в противном случае продолжается этап S46.
S47: Отправка первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки.
S48: Контроль состояния местоположения материала в бункере автобетоносмесителя на основе зоны бункера автобетоносмесителя в видеокадре контроля и выработка второго управляющего сигнала на основе результата контроля.
S49: Идентификация формы бетона в зоне бункера автобетоносмесителя на основе зоны бункера автобетоносмесителя в видеокадре контроля и выработка третьего управляющего сигнала на основе результата идентификации.
На фиг.5 показано схематичное представление структурной схемы системы интеллектуального контроля выгрузки для бетоносмесительной установки согласно варианту осуществления настоящей заявки. Как показано на фиг.5, система включает в себя: модуль 501 получения видеосигнала контроля и модуль 502 контроля выгрузки.
Модуль 501 получения видео контроля выполнен с возможностью получения видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра.
Модуль 502 контроля выгрузки выполнен с возможностью обнаружения и идентификации первого видеокадра на основе заданной алгоритмической модели и контроля выгрузки бетоносмесительной установки на основе результата идентификации.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, модуль контроля выгрузки включает в себя следующие подмодули.
Подмодуль получения информации о позиции, выполненный с возможностью определения информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра, если результатом идентификации является то, что первый видеокадр содержит бункер автобетоносмесителя.
Подмодуль выравнивания, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
Подмодуль формирования первого управляющего сигнала, выполненный с возможностью отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, причем первый управляющий сигнал используется для указания начала выгрузки, если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, первый подмодуль выработки управляющего сигнала включает в себя следующий блок.
Блок отправки первого управляющего сигнала, выполненный с возможностью отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель, соответствующий бункеру автобетоносмесителя, находится в стационарном состоянии.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, модуль контроля выгрузки дополнительно включает в себя следующие подмодули.
Подмодуль определения состояния местоположения материала, выполненный с возможностью получения видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и определения состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра.
Второй подмодуль выработки управляющего сигнала, выполненный с возможностью выработки второго управляющего сигнала на основе состояния местоположения материала и отправки второго управляющего сигнала в систему управления бетоносмесительной установки, причем второй управляющий сигнал используется для указания регулировки скорости выгрузки или остановки выгрузки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, подмодуль определения состояния местоположения материала включает в себя следующий блок.
Блок определения состояния местоположения материала, выполненный с возможностью определения состояния местоположения материала в бункере автобетоносмесителя на основе информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, подмодуль определения состояния местоположения материала дополнительно включает в себя следующие блоки.
Блок сегментации, выполненный с возможностью выполнения сегментации на уровне пикселей на изображении зоны бункера автобетоносмесителя во втором видеокадре и определения внешней границы бетона и внешней границы бункера автобетоносмесителя в зоне бункера автобетоносмесителя на основе результата сегментации на уровне пикселей.
Блок определения внешней границы, выполненный с возможностью определения состояния местоположения материала в бункере автобетоносмесителя на основе внешней границы бетона и внешней границы бункера автобетоносмесителя.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, модуль контроля выгрузки дополнительно включает в себя следующие подмодули.
Подмодуль идентификации формы бетона, выполненный с возможностью получения видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и идентификации формы бетона в зоне бункера автобетоносмесителя во втором видеокадре.
Подмодуль выработки третьего управляющего сигнала, выполненный с возможностью выработки третьего управляющего сигнала на основе результата идентификации формы бетона, причем третий управляющий сигнал используется для указания регулировки скорости выгрузки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, подмодуль получения информации о местоположении включает в себя следующий блок.
Блок получения информации о позиции ключевой точки, выполненный с возможностью ввода первого видеокадра в заданную алгоритмическую модель идентификации бункера автобетоносмесителя для получения информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре, выводимом алгоритмической моделью идентификации бункера автобетоносмесителя.
Весовой параметр в алгоритмической модели идентификации бункера автобетоносмесителя обучается на основе образцов изображения с меткой бункера автобетоносмесителя.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, подмодуль выравнивания включает в себя следующие блоки.
Блок получения информации о позиции центральной точки, выполненный с возможностью определения информации о позиции центральной точки бункера автобетоносмесителя на основе информации о позиции ключевой точки бункера автобетоносмесителя.
Блок выравнивания, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции центральной точки бункера автобетоносмесителя и заданной информации о позиции центральной оси выгружного отверстия бетоносмесительной установки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, первый видеокадр захватывается камерой контроля; соответственно, система дополнительно включает в себя следующие подмодули.
Подмодуль коррекции искажений, выполненный с возможностью выполнения коррекции искажений информации о позиции ключевой точки бункера автобетоносмесителя на основе заданной матрицы внутренних параметров и заданного коэффициента искажений камеры контроля, для получения информации о позиции ключевой точка бункера автобетоносмесителя после коррекции искажений.
Подмодуль выравнивания коррекции искажений, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, первый видеокадр захватывается камерой контроля, и первый видеокадр является видеокадром, захваченным камерой контроля после изменения угла съемки. Система дополнительно включает в себя следующий подмодуль.
Подмодуль получения матрицы гомографии, выполненный с возможностью получения матрицы гомографии на основе первого видеокадра и опорного видеокадра, причем опорный видеокадр является видеокадром, захваченным камерой контроля до изменения угла съемки.
Подмодуль коррекции отображения, выполненный с возможностью выполнения коррекции отображения информации о позиции ключевой точки бункера автобетоносмесителя на основе матрицы гомографии для получения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения.
Подмодуль выравнивания коррекции отображения, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя после коррекции отображения и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки.
Основываясь на вышеупомянутых вариантах осуществления, согласно системе интеллектуального контроля выгрузки бетоносмесительной установки, камера контроля представляет собой камеру RGB или TOF-камеру глубокого зондирования.
В частности, функции модулей в системе интеллектуального контроля выгрузки бетоносмесительной установки согласно варианту осуществления настоящей заявки соответствуют последовательности операций в варианте осуществления упомянутого выше способа, и достигаемый эффект также является постоянным. Со ссылкой на вышеупомянутые варианты осуществления подробности снова не описываются в варианте осуществления настоящей заявки.
На фиг.6 схематично показана структурная схема системы интеллектуального контроля выгрузки бетоносмесительной установки согласно варианту осуществления настоящей заявки. Как показано на фиг.6, система включает в себя: модуль получения видео контроля, служебный модуль контроля обратного выравнивания и служебный модуль контроля выплескивания. Модуль получения видео контроля выполнен с возможностью получения видеокадра контроля в выгружном отверстии бетоносмесительной установки. В дополнение к этому, модуль захвата видео контроля дополнительно выполнен с возможностью выполнения анализа потокового видео и выполнения предварительной обработки проанализированных видеокадров, такой как шумоподавление и повышение качества. Служебный модуль контроля обратного выравнивания выполнен с возможностью контроля того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки. Служебный модуль контроля выплескивания выполнен с возможностью контроля процесса выгрузки.
Служебный модуль контроля обратного выравнивания включает в себя следующие модули.
Модуль получения информации о позиции, выполненный с возможностью идентификации первого видеокадра после предварительной обработки и получения информации о позиции ключевой точки бункера автобетоносмесителя.
Модуль калибровки камеры, выполненный с возможностью калибровки камеры контроля и выполнения коррекции искажений информации о позиции ключевой точки бункера автобетоносмесителя.
Модуль отображения мировой системы координат, выполненный с возможностью отображения информации о позиции ключевой точки бункера автобетоносмесителя после коррекции искажений, то есть координаты ключевой точки бункера автобетоносмесителя в пиксельной системе координат, с мировой системой координат.
Модуль обратного контроля, то есть подмодуль выравнивания, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, выполнения услуги по контролю выплескивания в случае выравнивания и повторного получения первого видеокадра для распознавания в случае рассогласования.
Модуль коррекции отображения, выполненный с возможностью выполнения коррекции отображения, когда угол съемки изменяется после получения текущего видеокадра, захваченного камерой контроля, по информации о позиции ключевой точки бункера автобетоносмесителя в первом видеокадре, захваченном камерой контроля после изменения угла съемки.
Модуль повторной обработки изображения, выполненный с возможностью выполнения повторной обработки изображения, такой как улучшение видеокадра, на котором бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки.
Служебный модуль контроля выплескивания включает в себя следующие модули.
Модуль предварительной обработки изображения, выполненный с возможностью выполнения предварительной обработки изображения, такой как отсечение и шумоподавление, на расширенном видеокадре, на котором бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки.
Модуль модели сегментации, то есть подмодуль сегментации, выполненный с возможностью выполнения сегментации на уровне пикселей на изображении зоны бункера автобетоносмесителя.
Пиксельный модуль контроля внешней границы, выполненный с возможностью определения внешней границы бетона и внешней границы бункера автобетоносмесителя в зоне бункера автобетоносмесителя.
Модуль идентификации состояния бетона, то есть подмодуль идентификации формы бетона, выполненный с возможностью идентификации формы бетона в зоне бункера автобетоносмесителя в текущем видеокадре.
Модуль контроля расхода, выполненный с возможностью контроля информации о расходе бетона.
Модуль идентификации выплескивания, выполненный с возможностью определения того, выплескивается ли бетон в текущем видеокадре.
На фиг.7 показано схематичное представление физической структуры электронного устройства. Как показано на фиг.7, электронное устройство может включать в себя: процессор 710, коммуникационный интерфейс 720, память 730 и коммуникационную шину 740. Процессор 710, коммуникационный интерфейс 720 и память 730 взаимодействуют друг с другом через коммуникационную шину 740. Процессор 710 может активировать логическую инструкцию в памяти 730 для выполнения способа интеллектуального контроля выгрузки для бетоносмесительной установки дозирования, предусмотренной в вариантах осуществления, упомянутых выше. Способ включает в себя: получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и обнаружение и идентификацию первого видеокадра на основе заданной алгоритмической модели, и контроль выгрузки бетоносмесительной установки на основе результата идентификации.
В дополнение к этому, логическая инструкция в памяти 730, упомянутая выше, может быть реализована в виде программного функционального блока и может храниться на машиночитаемом носителе информации при продаже или использовании в качестве самостоятельного продукта. Исходя из этого понимания, техническое решение настоящей заявки по существу или в части, дополняющей предшествующий уровень техники, или в части технического решения, может быть воплощено в виде программного продукта, который хранится на носителе информации, включая ряд инструкций, позволяющих компьютерному устройству (которым может быть персональный компьютер, сервер или сетевое устройство и т.д.) выполнять все или часть этапов способа, описанного в различных вариантах осуществления настоящей заявки. Вышеупомянутый носитель информации включает в себя: флэш-диск USB, мобильный жесткий диск, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), магнитный диск или оптический диск и другие носители информации, на которых могут храниться программные коды.
С другой стороны, настоящая заявка также предоставляет компьютерный программный продукт. Компьютерный программный продукт включает в себя компьютерную программу, хранящуюся на энергонезависимом машиночитаемом носителе информации. Компьютерная программа включает в себя программные инструкции. Когда программные инструкции исполняются компьютером, компьютер может выполнять способ интеллектуального контроля выгрузки для бетоносмесительной установки в вышеупомянутых вариантах осуществления. Способ включает в себя: получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и обнаружение и идентификацию первого видеокадра на основе заданной алгоритмической модели, и контроль выгрузки бетоносмесительной установки на основе результата идентификации.
С другой стороны, настоящая заявка дополнительно предоставляет энергонезависимый машиночитаемый носитель информации, на котором хранится компьютерная программа. Когда процессор исполняет компьютерную программу, она реализуется для выполнения способа интеллектуального контроля выгрузки бетоносмесительной установки дозирования в вышеупомянутых вариантах осуществления. Способ включает в себя: получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и обнаружение и идентификацию первого видеокадра на основе заданной алгоритмической модели, и контроль выгрузки бетоносмесительной установки на основе результата идентификации.
Варианты осуществления устройства, описанные выше, являются только схематичными, в которых блоки, описанные как отдельные компоненты, могут быть или не могут быть физически разделенными, и компоненты, отображаемые как блоки, могут быть или не могут быть физическими блоками, то есть они могут быть расположены в одном месте, или они могут быть распределены по нескольким сетевым устройствам. Некоторые или все модули могут быть выбраны в соответствии с фактическими потребностями для достижения цели варианта осуществления. Специалисты в данной области техники могут понять и реализовать варианты осуществления без приложения творческих усилий.
Благодаря приведенному выше описанию вариантов осуществления специалисты в данной области техники могут четко понимать, что каждый вариант осуществления может быть реализован посредством программного обеспечения с необходимой общей аппаратной платформой и, конечно же, посредством аппаратных средств. Исходя из этого понимания, приведенное выше техническое решение по существу или в части, дополняющей предшествующий уровень техники, может быть реализовано в виде программного продукта, который может храниться на машиночитаемом носителе информации, таком как ПЗУ, ОЗУ, магнитный диск, оптический диск и т.д. Ряд инструкций включен для того, чтобы позволить компьютерному устройству (которым может быть персональный компьютер, сервер или сетевое устройство и т.д.) выполнять способы, описанные в каждом варианте осуществления или некоторых частях вариантов осуществления.
Наконец, следует отметить, что приведенные выше варианты осуществления используются только для иллюстрации технического решения настоящей заявки, а не для его ограничения. Хотя настоящая заявка была подробно описана со ссылкой на предыдущие варианты осуществления, специалисты в данной области техники должны понимать, что они могут, тем не менее, модифицировать технические решения, описанные в предыдущих вариантах осуществления, или выполнять эквивалентную замену некоторых технических признаков. Однако эти модификации или замены не отделяют сущность соответствующих технических решений от сущности и объема технических решений вариантов осуществления настоящей заявки.
Изобретение относится к области интеллектуального контроля выгрузки для бетоносмесительной установки. Техническим результатом заявленного решения является автоматизация контроля выгрузки бетоносмесительной установки. Технический результат достигается тем, что в заявленном решении предусмотрено получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; идентификация первого видеокадра на основе заданной алгоритмической модели и контроль выгрузки бетоносмесительной установки на основе результата идентификации, при этом, если первый видеокадр содержит бункер автобетоносмесителя, определяют информацию о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра, а также выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки; если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправляют первый управляющий сигнал в систему управления бетоносмесительной установки для указания начала выгрузки. 2 н. и 6 з.п. ф-лы, 7 ил.
1. Способ интеллектуального контроля выгрузки бетоносмесительной установки, содержащий:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и
обнаружение и идентификацию первого видеокадра на основе заданной алгоритмической модели и контроль выгрузки бетоносмесительной установки на основе результата идентификации,
в котором контроль выгрузки бетоносмесительной установки на основе результата идентификации содержит:
если результатом идентификации является то, что первый видеокадр содержит бункер автобетоносмесителя, определение информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра;
определение того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки; и
если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправку первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, первый управляющий сигнал используется для указания начала выгрузки.
2. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.1, в котором, если бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, отправка первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, содержит:
если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки, и автобетоносмеситель, соответствующий бункеру автобетоносмесителя, находится в стационарном состоянии, отправку первого управляющего сигнала в систему управления дозирования бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки.
3. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.1, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, дополнительно содержащий:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра; и
выработку второго управляющего сигнала на основе состояния местоположения материала и отправку второго управляющего сигнала в систему управления бетоносмесительной установки, причем второй управляющий сигнал используется для указания регулировки скорости выгрузки или остановки выгрузки.
4. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.3, в котором определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра содержит:
определение состояния местоположения материала бункера автобетоносмесителя на основе информации о пикселях изображения зоны бункера автобетоносмесителя во втором видеокадре.
5. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.3, в котором определение состояния местоположения материала в бункере автобетоносмесителя на основе второго видеокадра содержит:
выполнение сегментации на уровне пикселей изображения зоны бункера автобетоносмесителя во втором видеокадре и определение внешней границы бетона и внешней границы бункера автобетоносмесителя в зоне бункера автобетоносмесителя на основе результата сегментации на уровне пикселей; и
определение состояния местоположения материала в бункере автобетоносмесителя на основе внешней границы бетона и внешней границы бункера автобетоносмесителя.
6. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.2, после отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, дополнительно содержащий:
получение видеокадра контроля выгружной зоны бетоносмесительной установки для получения второго видеокадра и идентификацию формы бетона в зоне бункера автобетоносмесителя во втором видеокадре; и
выработку третьего управляющего сигнала на основе результата идентификации формы бетона, причем третий управляющий сигнал используется для указания регулировки скорости выгрузки.
7. Способ интеллектуального контроля выгрузки бетоносмесительной установки по п.1, в котором первый видеокадр может быть захвачен камерой контроля, положение установки камеры контроля может находиться на стене, противоположной выгружному отверстию бетоносмесительной установки, и высота установки является высотой, достаточной для контроля за полным бункером автобетоносмесителя.
8. Система интеллектуального контроля выгрузки бетоносмесительной установки, содержащая:
модуль получения видеосигнала контроля, выполненный с возможностью получения видеокадра контроля выгружной зоны бетоносмесительной установки для получения первого видеокадра; и
модуль контроля выгрузки, выполненный с возможностью обнаружения и идентификации первого видеокадра на основе заданной алгоритмической модели и контроля выгрузки бетоносмесительной установки на основе результата идентификации,
в которой модуль контроля выгрузки содержит:
подмодуль получения информации о позиции, выполненный с возможностью определения информации о позиции ключевой точки бункера автобетоносмесителя на основе первого видеокадра, если результатом идентификации является то, что первый видеокадр содержит бункер автобетоносмесителя;
подмодуль выравнивания, выполненный с возможностью определения того, выровнен ли бункер автобетоносмесителя с выгружным отверстием бетоносмесительной установки, на основе информации о позиции ключевой точки бункера автобетоносмесителя и информации о заданной ключевой позиции выгружного отверстия бетоносмесительной установки;
подмодуль формирования первого управляющего сигнала, выполненный с возможностью отправки первого управляющего сигнала в систему управления бетоносмесительной установки, соответствующего выгружному отверстию бетоносмесительной установки, причем первый управляющий сигнал используется для указания начала выгрузки, если определено, что бункер автобетоносмесителя выровнен с выгружным отверстием бетоносмесительной установки.
| CN 112487898 A, 12.03.2021 | |||
| CN 105507590 B, 13.10.2017 | |||
| Видео: "Склад | |||
| Отгрузка | |||
| Нюансы-лайфхаки по видеонаблюдению", найдено в: "https://www.youtube.com/watch?v=9Z7NvKwb0Tk", 02.11.2019 | |||
| Видео "Демонстрация работы автоматической системы управления бетонного завода (БСУ, РБУ)", найдено в: "https://www.youtube.com/watch?v=qEEBCadqpNM", 2017 | |||
| Видео |
