Изобретение относится к способу машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка по меньшей мере местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются в виде данных теплового изображения. Далее изобретение относится к способу идентификации поврежденных несущих роликов ленточной конвейерной установки на основе вышеназванного способа, а также устройству для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, содержащему по меньшей мере одно движущееся вдоль по меньшей мере одного участка ленточной конвейерной установки беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка, по меньшей мере, на части секций контролируется сенсорно в виде данных изображения, и по меньшей мере одно тепловизионное устройство для регистрации данных теплового изображения.
Для транспортировки сыпучих грузов, например вскрыши, руд, топлив, стройматериалов и т.п., на заданное расстояние (путь транспортировки) в качестве стационарных или полустационарных транспортеров непрерывного действия часто используются ленточные конвейерные установки (ленточные конвейеры). В ленточной конвейерной установке бесконечная конвейерная лента (несущая лента) приводится по меньшей мере одной приводной станцией (приводным барабаном) в огибающее движение. При этом конвейерная лента в качестве верхней ветви направляется между двумя поворотными станциями, на которых она отклоняется поворотным валиком, от (начальной) поворотной станции к другой (концевой) поворотной станции. От концевой поворотной станции отклоненная конвейерная лента в качестве нижней ветви возвращается к начальной поворотной станции, там снова отклоняется и направляется снова в качестве верхней ветви. Как правило, верхняя ветвь образует при этом грузовую ветвь (рабочую ветвь, тяговую ветвь), а нижняя ветвь – холостую ветвь. По всей длине пути транспортировки конвейерная лента поддерживается на верхней и нижней ветвях несущими роликами (ходовыми роликами), которые служат несуще-направляющими элементами.
Вследствие большей вместимости и лучшего ведения материалов помимо конвейерных лент плоской формы (в плосколенточной конвейерной установке) для транспортировки сыпучих грузов используются также конвейерные ленты с лотковой верхней ветвью (в виде лотковой ленты в лотковой ленточной конвейерной установке, например с V-образным лотком в случае двух несущих роликов или с U-образным лотком, например в случае трех, четырех, пяти или более несущих роликов) или со свернутой верхней ветвью (в виде рукавной ленты/трубчатой ленты, соответственно в рукавной ленточной конвейерной установке). В зависимости от задачи транспортировки направляемая с лотковой или свернутой верхней ветвью конвейерная лента возвращается с плоской, лотковой или даже свернутой нижней ветвью. При этом часто в случае сильнее загруженной верхней ветви встречается U-образный лоток, а в случае возвращающейся нижней ветви – плоская форма или V-образный лоток.
Бесконечно огибающая конвейерная лента на пути транспортировки должна поддерживаться и направляться при загруженной верхней ветви, как и при возвращенной нижней ветви (там в незагруженном или загруженном состоянии), причем поддержка особенно важна для загруженной части конвейерной ленты. В качестве несущих и направляющих элементов для поддержки и ведения используются несущие ролики в конструкции несущего остова, станции несущих роликов (станции ходовых роликов), причем несущие ролики обеспечивают контакт качения между конструкцией несущего остова и конвейерной лентой. Несущие ролики имеют ходовой поверхностный участок, который ограничен с торцов двумя колпачковыми участками, днищами несущих роликов. Как правило, ходовой поверхностный участок образован цилиндрообразным отрезком стальной трубы, причем для этого возможны также другие материалы и геометрические формы. Колпачковые участки образованы обычно литыми колпачками или колпачками из листовой стали, которые запрессованы или вварены в торцевые отверстия ходового поверхностного участка. На каждом колпачковом участке предусмотрена опора для размещения проходящей через несущий ролик оси или входящей во внутреннюю часть несущего ролика цапфы оси. Опорами являются подшипники качения (которые в большинстве случае образуют неотъемлемые составные части колпачкового участка), так что несущие ролики установлены посредством внутренней опоры с возможностью вращения. Типичные выполнения несущих роликов являются объектом промышленных норм и директив (например, DIN 15207, DIN 22112 или VDI 2341).
На станции несущих роликов по меньшей мере один несущий ролик установлен и опирается с возможностью вращения, обычно на станции несущих роликов расположены несколько несущих роликов, прежде всего на станциях несущих роликов для лотковых или свернутых конвейерных лент. Станции несущих роликов представляют собой, следовательно, точки опоры для конвейерной ленты и выполнены обычно в виде жесткой структуры остова (станина с несущими роликами, станина с ходовыми роликами, станина с роликами, роликовая опора), в которой оси отдельных несущих роликов расположены либо жестко, либо в виде подвижной структуры (гирлянда несущих роликов, гирлянда ходовых роликов). В такой подвижной структуре оси отдельных несущих роликов расположены подвижно по отношению друг к другу, например за счет того, что они соединены между собой цепями. Станции несущих роликов могут быть позиционированы вдоль пути транспортировки индивидуально, в рамках вышестоящей структуры остова могут быть соединены с соседними станциями несущих роликов или же могут быть выполнены в виде неотъемлемой составной части несущего остова ленточной конвейерной установки. Общее число несущих роликов на каждую станцию несущих роликов возникает, следовательно, из числа несущих роликов на каждую станцию несущих роликов и числа станций несущих роликов на всем пути транспортировки; оно зависит, тем самым, от расстояния между несущими роликами в направлении транспортировки.
Конвейерная лента ленточной конвейерной установки содержит обычно верхнюю и нижнюю покрывающие плиты, между которыми расположен несущий элемент (каркас), выполненный в виде вкладыша. Этот каркас состоит из одного или нескольких волокнистых слоев, заделанных в резину. Волокнистый слой служит, прежде всего, в качестве продольной основы (тяговой основы, тяговой основы ленты), так что волокна расположены для этого, будучи ориентированы в продольном направлении конвейерной ленты. При эксплуатации растягивающие усилия, действующие в направлении транспортировки (т.е. в направлении движения конвейерной ленты и, тем самым, в ее продольном направлении), передаются или отводятся через эти волокна. Как правило, продольными основами являются текстильные ткани, стальные тросы, высокопрочные полимеры или соответствующие композитные системы. В качестве поперечного армирования часто предусмотрены дополнительные прочностные основы, которые расположены, будучи ориентированы поперек продольного направления, и усиливают конвейерную ленту поперек направления транспортировки. Как правило, этими дополнительными прочностными основами являются стальные тросы или текстильные ткани. Верхней и нижней покрывающими плитами конвейерной ленты являются резиновые слои, причем верхняя покрывающая плита (несущий слой, несущая сторона) служит для приема сыпучего материала, а нижняя покрывающая плита (ходовой слой, ходовая сторона) находится в контакте с поворотными валиками, приводными барабанами, несущими роликами и прочими направляюще-опорными элементами. Вследствие прямого контакта верхней покрывающей плиты с отчасти острокромочной конвейерной лентой верхняя покрывающая плита выполнена, как правило, износостойкой и имеет бóльшую толщину, чем нижняя покрывающая плита. Толщина нижней покрывающей плиты со стороны несущих роликов лежит у многих конвейерных лент в диапазоне 3-5 мм.
В зависимости от области применения и вида конвейерной ленты ленточные конвейерные установки подвержены воздействию различных нагрузок и окружающих условий. Так, требования к ленточным конвейерным установкам в открытых горных разработках отличаются от ленточных конвейерных установок, используемых в подземных горных разработках; то же относится к географическому месту применения, например в приполярных областях или в тропиках. Индивидуальные условия эксплуатации ленточной конвейерной установки приводят к удельному износу отдельных компонентов такой установки, поэтому в короткие промежутки времени требуется регулярный контроль функционального состояния всех изнашивающихся компонентов ленточной конвейерной установки. Прежде всего, контроль несущих роликов и, в частности, их опор (подшипников качения) является сложным, т.к. любая ленточная конвейерная установка имеет большое число несущих роликов, которые иначе, нежели, например, сама конвейерная лента, стационарны и потому могут контролироваться всегда только в соответствующем месте монтажа. Именно у несущих роликов окружающий климат, а также вид и характер конвейерной ленты в значительной степени сказываются на износе и определяют, тем самым, требования к качеству несущих роликов. Если, например, функция несущих роликов и, в частности, их опор, нарушена, то повышается сопротивление качению, которое несущие ролики противопоставляют движению конвейерной ленты в направлении транспортировки. Следствием этого является не только повышенная потребность в энергии при транспортировке материала, но и возникает также риск повреждения конвейерной ленты и потому полного выхода из строя всей ленточной конвейерной установки. Чтобы своевременно перед полным выходом из строя можно было выявить несущие ролики с нарушенной функцией и заменить их, необходимо контролировать критические параметры несущих роликов в короткие промежутки времени.
Следствием повышенного сопротивления качению несущих роликов является повышенная температура опор, так что температура несущих роликов и, в частности, опор может служить индикатором возможных нарушений функции. Так, функциональность и ожидание срока службы опор несущих роликов могут оказаться тем хуже, чем больше опора нагревается в режиме транспортировки. При этом возникающий у опоры износ зависит, в том числе, от смазки и качества используемых несущих роликов (в частности, качества опор). Другими факторами, которые у опор могут приводить к повышенному износу и, тем самым, к повышенным рабочим температурам, является, например, повышенная частота вращения (в соответствии с высокими скоростями конвейерной ленты и/или малыми диаметрами несущих роликов), повышенная, действующая на несущие ролики радиальная нагрузка или большее расстояние между соседними станциями несущих роликов. Поэтому для контроля износа в ленточных конвейерных установках в равные промежутки времени контролируется обычно температура несущих роликов, чтобы можно было определить их функциональное состояние. В случае наблюдаемого при этом возрастания температуры нарушение функции обнаруживается заранее, так что заранее могут быть приняты соответствующие меры, чтобы минимизировать простои ленточных конвейерных установок.
До сих пор у большинства ленточных конвейерных установок температура несущих роликов измеряется персоналом, который все несущие ролики ленточной конвейерной установки инспектирует вручную по всей длине пути транспортировки на их работоспособность и при этом преодолевает расстояния между несущими роликами ленточной конвейерной установки пешком, на велосипеде или на машине. Такая инспекция осуществляется путем визуального, акустического контроля или измерения температуры, например с помощью неподвижно установленных температурных зондов, радиационного термометра (инфракрасного измерительного прибора, пирометра) или тепловизионной камеры.
Промышленные ленточные конвейерные установки при скоростях конвейерной лент в несколько метров в секунду и производительностью в несколько килотонн в час могут иметь пути транспортировки длиной 10 км и более. Каждая станция несущих роликов может содержать несколько несущих роликов, а расстояния между соседними станциями несущих роликов могут составлять 2 м и менее, так что в ленточной конвейерной установке могут находиться несколько тысяч несущих роликов. В частности, при добыче минерального сырья, например в открытых горных разработках, в одном месте общая длина всех ленточных конвейерных установок может вполне превышать 100 км. При результирующем из этого большом числе несущих роликов обход или объезд ленточных конвейерных установок на всех путях транспортировки соответствующим сервисным специалистом с регулярно повторяющейся по времени последовательностью связан с высокими затратами труда, следствием чего являются соответствующие издержки. Поэтому для их снижения принимается также в расчет увеличение межинспекционных интервалов. Если же отдельные несущие ролики инспектируются в слишком большие интервалы времени, то это повышает риск выхода из строя ленточной конвейерной установки.
Кроме того, в зависимости от сервисного специалиста ручной контроль функционирования связан с определенным диапазоном колебаний в отношении конкретного проведения инспекции, что негативно сказывается на воспроизводимости выявленного функционального состояния несущих роликов и, тем самым, на надежности инспекции в целом. Кроме того, при контроле отдельных несущих роликов, в принципе, нельзя исключать также ошибки сервисного специалиста (например, зарегистрированные данные о функциональном состоянии, качестве и ожидаемом сроке службы несущих роликов или об обслуживании ленточных конвейерных установок могут быть выявлены неполностью или неправильно). В общем, у традиционного контроля функционального состояния несущих роликов ленточной конвейерной установки речь идет, следовательно, о малопрозрачном процессе, что вследствие связанной с этим ненадежности может привести, в свою очередь, к повышению затрат труда (например, из-за двойных определений), которые несут с собой повышение издержек.
Из публикаций "A UAV-Based Framework for Semi-Automated Thermographic Inspection of Belt Conveyors in the Mining Industry" R. Carvalho et al. [Sensors, Vol. 20, Nr. 8 (2020), p. 2243ff.] и "An inspection robot using infrared thermography for belt conveyor" W. Yang und X. Zheng [submitted 2019 to the 13th Internationalen Conference on Ubiquitous Robots and Ambient Intelligence (URAI) from 2016, p. 1-6], известны автоматические и полуавтоматические методы, в которых данные теплового изображения передают для анализа данных после сегментации и оценки путем классификации, для того чтобы определить поврежденные несущие ролики. Однако с учетом современного уровня техники, надежность такой оценки данных теплового изображения остается ниже идеальной.
Вследствие этого задачей настоящего изобретения является создание способа, который позволил бы устранить вышеназванные недостатки и, в частности, определять функциональное состояние несущих роликов ленточной конвейерной установки более надежным и воспроизводимым образом, чем это удавалось до сих пор, и в то же время снизить требуемые затраты труда и издержки, а также в отношении функционального состояния несущих роликов обеспечить бóльшую прозрачность и обеспечить дополнительно эксплуатанту и обслуживающему персоналу также документирование состояния несущих роликов и истории обслуживания. Благодаря этому должен быть реализован также простой и надежный контроль функционального состояния несущих роликов, проводимый также в течение длительного времени в короткие промежутки времени и не приводящий за счет этого к высоким затратам на персонал. В рамках этого контроля должны заранее обнаруживаться износ несущих роликов, а также возникновение нарушающих функцию аномалий, прежде чем возникнут критические ситуации, чтобы можно было проактивно противодействовать им и сократить расходы на обслуживание и простои несущих роликов по сравнению с традиционными способами. Далее желательно создать способ, на основе которого можно было бы делать прогнозы о будущем временнóм развитии функционального состояния индивидуальных несущих роликов и в соответствии с этими прогнозами дать рекомендацию по специфическим планам обслуживания, с помощью которых можно было бы оптимизировать эффективность эксплуатации установки и минимизировать возможные простои. Другая задача заключается в том, чтобы создать устройство, которое обеспечивало бы вышеназванные преимущества.
Эти задачи решаются посредством способа машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, способа идентификации функционально-нарушенных несущих роликов ленточной конвейерной установки, включающего в себя способ машинного определения функционального состояния несущих роликов, а также устройства для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации с признаками независимых пунктов формулы. Предпочтительные варианты приведены в зависимых пунктах формулы, нижеследующем описании и на чертежах.
Изобретение включает в себя способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка, по меньшей мере, местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются как данные теплового изображения, причем в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика, для каждого выявленного положения области распознаваемого изображения из данных изображения в данных теплового изображения устанавливается соответственно положение области анализируемого изображения, и в каждом положении области анализируемого изображения автоматически анализируются данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов, при этом данные изображения, которые могут быть зарегистрированы с помощью системы датчиков изображения, также содержат данные фотоизображения помимо данных теплового изображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной системы (1) также регистрируются как данные фотоизображения, причем зарегистрированные данные изображения ленточной конвейерной системы (1), в которых автоматически определяется по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, области данных фотоизображения автоматически выявляются в качестве областей данных изображения, и положение каждой выявленной области данных фотоизображения автоматически создается как положение области распознаваемого изображения. При этом, в частности, значение имеют участки несущих роликов, содержащие их опоры (подшипники качения).
Способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки является способом, при котором для отдельных роликов или большого числа несущих роликов машинным путем определяются соответствующие функциональные состояния индивидуальных несущих роликов, т.е. при существенном участии машины. При этом функциональным состоянием является состояние несущего ролика в отношении того, насколько он может выполнять свою определенную задачу, т.е. поддержку конвейерной ленты в обкатывающем движении, которое оказывает продольному движению конвейерной ленты небольшое (в идеальном случае пренебрежимо малое) механическое сопротивление; функция несущего ролика, который не выполняет или недостаточно выполняет эту задачу, нарушена. Предпочтительно при таком способе определяются функциональные состояния всех несущих роликов. Поскольку способ ограничен определением функционального состояния несущих роликов, этим нельзя обнаружить возможные нарушения функции других компонентов ленточной конвейерной установки, например повреждения конвейерной ленты. Правда, при необходимости, можно дополнить заявленный способ другими мероприятиями и создать, таким образом, комбинированный новый способ, который позволил бы дополнительно к функциональному состоянию несущих роликов определить также нарушение функций других компонентов.
Важно, что заявленный способ служит для определения функционального состояния во время эксплуатации ленточной конвейерной установки, так что для определения функционального состояния не требуется прерывать ее работу. Данное определение функционального состояния основано на возникающем при эксплуатации ленточной конвейерной установки выделении тепла несущими роликами, так что данный способ подходит, прежде всего, для применения при текущей эксплуатации.
Для осуществления заявленного способа предусмотрено по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, при необходимости, также несколько беспилотных транспортных средств. Под транспортным средством понимается любое средство передвижения или любой подвижной состав, независимо от того, подходит ли оно/он для перевозки пассажиров или нет. В принципе, этот термин включает в себя, в частности, сухопутные транспортные средства (наземные транспортные средства), например дорожные транспортные средства (например, на шинах), транспортные средства повышенной проходимости (например, на шинах или гусеницах), рельсовые транспортные средства, воздушный транспорт (летательные аппараты) и водный транспорт, а также, в частности, колейные транспортные средства (с движением в рельсовой колее и без него, например рельсовые транспортные средства или канатные дороги) и неколейные транспортные средства. Особенно благоприятно, если в данном случае в качестве транспортного средства используется парящая платформа (мультикоптер, в частности квадрокоптер). Возможны также варианты этого, например свисающая с направляющего кабеля гондола и т.п. Беспилотным транспортным средством (дроном) является транспортное средство, в или на котором во время движения отсутствует или не должен находиться человек, в самом широком смысле этот термин включает в себя также мобильные роботы. Беспилотное транспортное средство может быть выполнено любым, например, в виде беспилотного, дистанционно управляемого транспортного средства (remotely operated vehicle, ROV) или в виде полуавтономного беспилотного транспортного средства, прежде всего, однако, также в виде автономного беспилотного транспортного средства. Дистанционно управляемым транспортным средством является транспортное средство, управляемое и контролируемое операторами, которые, однако, не находятся в или на нем; такое дистанционное управление часто реализовано как дистанционное радиоуправление. В качестве операторов рассматриваются люди или же внешние устройства регулирования, которые не находятся на транспортном средстве; такое внешнее устройство регулирования может быть реализовано, например, в виде внешнего устройства обработки данных. У полуавтономного транспортного средства речь идет о частично автоматизированном транспортном средстве, в котором оператор при работе может выполнять отдельные задания, что может происходить, например, в рамках дистанционного управления. В противоположность этому автономным транспортным средством является транспортное средство, которое самостоятельно движется вперед, тем самым, самостоятельно оперирует (т.е. без непосредственного воздействия водителя или оператора) и при этом ведет себя в значительной степени автономно. Автономное транспортное средство содержит устройство регулирования, которое находится на нем. Обычно автономное транспортное средство следует заданной трассе, причем она может быть задана, например, в виде управляемых путевых точек. Этими путевыми точками транспортное средство управляет, например, с помощью спутниковой системы определения положения, например приемника для спутниковой системы навигации, такой как GPS, или с помощью системы оптической регистрации изображений. Как правило, автономное транспортное средство содержит дополнительные системы, которые обеспечивают автономное движение (автоматизированное движение, пилотируемое движение), например систему предотвращения столкновений или систему автоматической ориентации, чтобы обеспечить в заданных путевых точках оптимальную ориентацию для наилучшей регистрации данных изображения целевых объектов.
В качестве системы датчиков изображения предусмотрено сенсорное устройство (детектор), которое, в частности, визуализирующим способом создает из измеренных величин реального объекта его окружения количественное двух- или трехмерное изображение и выдает его в виде данных изображения. Эти измеренные величины и/или выведенная из них информация подвергаются/подвергается системой датчиков пространственному разрешению и посредством дополнительных параметров, например интенсивностей и/или цветов, кодируются/кодируется в виде (в частности, цифровых) данных изображения, т.е. наборов данных, в которых соответствующая информация об отображенных объектах представлена взаимосвязанной по содержанию. Двухмерными изображениями являются, прежде всего, видеоизображения (отображения), в которых точки расположены двухмерно; такие двухмерные изображения могут быть созданы и отображены, например, моно- или стереоскопическими. В противоположность этому трехмерными изображениями являются, прежде всего, видеоизображения, точки которых расположены трехмерно, например, в виде облаков точек. Помимо представления точек изображений, двух- и трехмерные изображения могут быть составлены также из элементарных двух- или трехмерных геометрических форм (примитивов, основных объектов, графических основных форм, пространственных эталонных основных форм, например для двухмерной векторной графики или 3D-моделей) или могут быть их комбинациями с точками изображений. Такая система датчиков содержит по меньшей мере одно сенсорное устройство, однако, кроме того, может содержать и дополнительные сенсорные устройства. Измеренными величинами могут быть, в частности, длина волны и интенсивность идущего от объекта (излученного, отраженного или рассеянного) электромагнитного излучения в диапазоне длин волн от 100 нм до 1 мм. В этом случае сенсорными устройствами могут быть такие сенсорные устройства, как камеры, например фотокамеры для съемки неподвижных изображений (отдельных изображений), или кинокамеры для съемки подвижных изображений (фильмы, видео), в частности тепловизионное сенсорное устройство, фотосенсорное устройство или ультрафилетовое сенсорное устройство. Тепловизионным сенсорным устройством может быть, например, тепловизионная камера (термографическая камера, термальная камера, термальная видеокамера, термовидеокамера, инфракрасная камера, тепловизор), посредством которого регистрируется, прежде всего, инфракрасное излучение (ИК-излучение, тепловое излучение) в диапазоне длин волн от 700 нм до 1 мм и создается в виде данных теплового изображения, в частности, в ближнем инфракрасном диапазоне (NIR) от 700 до 1000 нм или в среднем инфракрасном диапазоне (МIR) от 3,5 до 15 мкм. Фотосенсорным устройством может быть, например, например фотокамера (оптическая камера, RGB-камера), посредством которой регистрируется, прежде всего, видимый свет в диапазоне длин волн от 380 до 780 нм (в частности, до 700 нм) и создается в виде данных фотоизображения. Ультрафилетовым видеосенсорным устройством может быть, например, ультрафиолетовая камера (УФ-камера), посредством которой регистрируется, прежде всего, ультрафиолетовое излучение (УФ-излучение) и создается в виде ультрафиолетовых данных изображения. В сенсорном устройстве изображение может создаваться визуализирующим способом также из других измеренных величин, например из времени прохождения или частотного сдвига переданного сенсорным устройством и отраженного от окружающего пространства сигнала, из которого способом сканирования (например, лазерное сканирование, лидар/ладар, сонар или радар) получают информацию о расстоянии с пространственным разрешением и создают в виде данных изображения расстояния. Далее беспилотное транспортное средство может содержать, помимо системы датчиков изображения, дополнительные сенсорные устройства, чтобы регистрировать другие параметры из окружающего пространства или в окружающем пространстве.
Согласно изобретению, далее предусмотрено, что посредством системы датчиков ленточная конвейерная установка, по меньшей мере, местами контролируется сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются в виде данных теплового изображения. Такие данные теплового изображения содержат в качестве измеренной величины часто только значение интенсивности, которое коррелирует с интенсивностью излученного поверхностью отображенного объекта инфракрасного излучения и, тем самым, представляет пространственную характеристику температуры поверхности объекта. Дополнительно к данным теплового изображения датчики используются для регистрации также данных другого изображения, например данные фотоизображения. Для регистрации беспилотное транспортное средство может двигаться, например, вдоль по меньшей мере одного участка ленточной конвейерной установки, например от собственного привода на нем самом или от внешнего привода. Контроль ленточной конвейерной установки, по меньшей мере, местами может включать в себя также то, что контролировать можно всю ленточную конвейерную установку (например, в виде динамических изображений, которые записываются при движении беспилотного транспортного средства вдоль всей ленточной конвейерной установки). Как правило, из-за размера системы датчиков посредством ее сенсорного устройства контролируется, однако, соответственно только участок ленточной конвейерной установки (и, тем самым, сенсорно). При этом возможно, чтобы для участков ленточной конвейерной установки, на которых несущие ролики отсутствуют, не регистрировались никакие данные изображения. Независимо от этого для регистрации несущих роликов по всей длине ленточной конвейерной установки на практике вполне могут использоваться несколько беспилотных транспортных средств, или контроль всей ленточной конвейерной установки делится на несколько отдельных этапов, на которых сенсорно контролируется соответственно только часть ленточной конвейерной установки.
Согласно изобретению, далее предусмотрено, что в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок одного несущего ролика. «Автоматически» означает, что система выполняет конкретное действие – здесь определение положения области распознаваемого изображения – в рамках автоматического хода процесса по установленному плану или по отношению к установленным состояниям без необходимости для этого непосредственного вмешательства обслуживающего персонала; тем самым, не исключено, что автоматическое выполнение конкретного действия может быть прервано вмешательством обслуживающего персонала, например в случае опасности, или что при осуществлении этапов вне автоматически выполняемого действия возможно (или даже требуется) вмешательство обслуживающего персонала или что действие перед его конкретным выполнением было подготовлено обслуживающим персоналом, например при программировании соответствующей системы управления или регулирования или при тренировке в связи с машинным обучением.
В данном случае в данных изображения автоматически определяется по меньшей мере одно положение области распознаваемого изображения. «По меньшей мере, одно положение области распознаваемого изображения» означает, что определяются также несколько положений области распознаваемого изображения; если в данных изображения положение области распознаваемого изображения не определяется, то не требуется подвергать эти данные дальнейшей обработке. Положением области распознаваемого изображения является положение области данных изображения (т.е. области в пределах данных изображения), в которой был обнаружен заданный целевой объект или его части, например в виде результата сравнения изображений или распознавания узора. При сравнении изображений зарегистрированные данные изображения сравниваются непосредственно с заданными сравнительными данными изображения, записанными в более ранний момент времени. При распознавании узора зарегистрированные данные изображения (при необходимости, после предварительной обработки для уменьшения данных, т.е. чтобы уменьшить комплексность данных изображения за счет удаления нежелательных или нерелевантных данных изображения, например в рамках операций с фильтрацией, операций с пороговыми значениями, операций усреднения или операций нормирования) подвергаются операции получения и уменьшения признаков, после чего осуществляются классификация признаков по соответствующим классам и распознавание изображений. У данных изображения ленточной конвейерной установки в качестве соответствующих классов идентифицируемых объектов помимо несущих роликов (включая опоры этих роликов) рассматриваются и другие компоненты установки, например элементы конструкции несущего остова, фундаменты, конвейерные ленты, поворотные станции, подпорки, направляющие щитки, кабели, шланги и т.п., а также транспортируемый материал или часто встречающиеся окружающие структуры, например скалы. Области изображений, в которых находятся структуры, относящиеся не к несущим роликам, а, напротив, к другим целевым объектам, могут быть исключены из дальнейшего анализа. Обычно при классификации на основе нескольких классов объектам для каждого класса присваивают сначала соответствующее значение вероятности, после чего объект наконец относят к классу с наивысшим значением вероятности.
В данном случае речь идет, прежде всего, о том, чтобы обнаружить несущие ролики и их части, поэтому классификация отдельных элементов из данных изображения по классу «несущие ролики и их части» могло было бы быть достаточным. Классификацией называется объединение (подразделение, отнесение) объектов с помощью определенных признаков по предварительно установленным классам (группам, количествам, категориям), которые сообща образуют классификацию, т.е. собрание абстрактных классов (концепций, типов, категорий), которые используются для отграничения и упорядочивания. Однако также возможно и целесообразно отнести большое число отдельных элементов не просто к единственному классу, а к большому числу разных классов. Вместо этого возможно также автоматически определить в зарегистрированных данных изображения ленточной конвейерной установки по меньшей мере одно положение области распознаваемого изображения за счет того, что в видеоданных автоматически распознаются области данных изображения, в которых отображен по меньшей мере один распознаваемый объект, в распознанных, таким образом, областях данных изображения среди распознаваемых объектов автоматически распознаются несущие ролики или участки несущих роликов и для каждого распознанного несущего ролика, а также для каждого распознанного участка несущего ролика в качестве положения области распознаваемого изображения создается положение области данных изображения, в которой отображен несущий ролик или участок несущего ролика. Таким образом, среди распознаваемых объектов распознаются только несущие ролики или участки несущих роликов, а распознаваемые объекты распределяются, следовательно, не по другим, также возможным классам, например как элементы конструкции несущего остова, фундаменты, конвейерные ленты, поворотные станции, подпорки, кабели, шланги, транспортируемый материал или окружающие структуры, а при распознавании ограничились бы распознаванием несущих роликов и их участков. Вследствие ограничения распознавания распознаваемых объектов только одним классом, а именно классом несущих роликов или их участков, этап распознавания резко упрощается.
Если в данных изображения определяется участок, на котором отображен и распознается по меньшей мере один участок несущего ролика (т.е. один объект или несколько объектов, выбранных из перечня, включающего в себя несущий ролик или участок несущего ролика, что включает в себя, следовательно, также большое число несущих роликов или большое число их участков, а также их комбинации), то положение распознанного участка в пределах данных изображения представляет собой положение области распознаваемого изображения. Обычно область распознаваемого изображения выбирается так, чтобы несущий ролик или его участок располагался в ней по центру. Форма области распознаваемого изображения, положение которой в пределах данных изображения представляет собой положение области распознаваемого изображения, может быть выбрана произвольной, как правило, выбирается простая геометрическая форма, которая обрамляет распознанную структуру несущего ролика в виде рамки, например для двухмерных наборов данных изображения – это прямоугольник, окружность или эллипс, а для трехмерных наборов данных изображения – прямоугольный параллелепипед, шар или цилиндр (разумеется, возможны и более сложные формы, например двух- или трехмерные сплайны). В случае двухмерных наборов данных изображения соответствующее положение области распознаваемого изображения указывается целесообразно в виде двухмерных координат области распознаваемого изображения, например в виде декартовых координат или полярных координат в пределах данных изображения, а в случае трехмерных наборов данных изображения – в виде трехмерных координат области распознаваемого изображения, например в виде декартовых координат, сферических координат или цилиндрических координат в пределах данных изображения. В случае прямоугольной рамки положение может указываться, следовательно, например посредством координат противоположных углов (т.е. в виде двух пар декартовых координат), а в случае круглой рамки – например, посредством центра и радиуса (т.е. пары декартовых координат и расстояния).
Согласно изобретению, способ осуществляется таким образом, что данные изображения, которые могут быть зарегистрированы с помощью системы датчиков изображения, также содержат данные фотоизображения помимо данных теплового изображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной установки также фиксируются как данные фотоизображения, зарегистрированные данные изображения ленточной конвейерной установки, в которых автоматически определяют по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, в которых области данных фотоизображения автоматически выявляются как области данных изображения, и положение каждой выявленной области данных фотоизображения автоматически создается как положение области распознаваемого изображения. В результате система датчиков беспилотного летательного аппарата также имеет сенсорное устройство фотоизображения, в дополнение к сенсорному устройству теплового изображения. Данные изображения регистрируются с обоих сенсорных устройств формирования изображения, при этом данные теплового изображения и соответствующие данные фотоизображения регистрируются по меньшей мере на одном участке ленточной конвейерной установки. Данные фотоизображения используют для автоматического определения положений областей распознаваемых изображений, в которых (положениях) изображены несущие ролики или участки несущих роликов. На основе положений области распознаваемого изображения, определенных из данных фотоизображения, устанавливают соответствующие положения области анализируемого изображения в данных теплового изображения, в котором затем анализируют данные теплового изображения. Обычно датчики фотоизображения дают более высокое разрешение изображения, чем сенсорные устройства теплового изображения, и более того, сенсорные устройства теплового изображения обычно регистрируют лишь одну измеряемую переменную (температуру поверхности объекта, часто кодированную как монохромная интенсивность или как цвет), в то время как датчики фотоизображения обычно регистрируют по меньшей мере две измеряемые переменные (интенсивность света и цвет/длина волны света). Поэтому для выявления целевых объектов, таких как несущие ролики, например, путем сравнения изображения и распознавания узора, данные фотоизображения обычно дают больше информации, чем данные теплового изображения. Кроме того, данные теплового изображения обычно отображают только форму целевого объекта, в то время как данные фотоизображения представляют другие структурные элементы, такие как текстура поверхности и тени, которые не распознаются на тепловом изображении. Поэтому, когда используются фотоизображения, более высокое качество распознавания, основанное на различимых и характерных отображаемых элементах фотоизображений, могут быть преобразованы в менее различимые тепловые изображения. Таким образом, обнаружение на основе данных фотоизображения является значительно более надежным, чем обнаружение на основе данных теплового изображения.
Этот способ может быть объединен со способом, в котором зарегистрированными данными изображения являются дополнительные данные теплового изображения; в результате параллельного использования двух типов данных изображения для распознавания – а именно данных фотоизображения в дополнение к данным теплового изображения – может быть дополнительно повышена точность распознавания, что может быть предпочтительно особенно в условиях плохой освещенности.
Согласно изобретению, далее предусмотрено, что для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения. Положением области анализируемого изображения является положение в данных теплового изображения, в которых после установления проводится анализ, чтобы определить функциональное состояние изображенных в области распознаваемого изображения несущих роликов. Полученная из данных изображения информация о положениях области распознаваемого изображения переносится, следовательно, на области анализируемого изображения в данных теплового изображения. Если сенсорное устройство, с помощью которого были зарегистрированы данные изображения, использовавшиеся для идентификации областей распознаваемого изображения, расположено пространственно вплотную к тепловизионному сенсорному устройству, и оба сенсорных устройства ориентированы одинаково, то положения области распознаваемого изображения могут быть заимствованы даже без изменений в виде соответствующих положений области анализируемого изображения. Если сенсорные устройства разные и имеют отличия, например, в отношении углов изображений, размеров полей изображений, положений и ориентаций, то предварительно определяются статические геометрические отличия, и в данный момент времени определяются динамические отличия (например, вследствие расположения сенсорных устройств на подвижных руках роботов), так что из положений области распознаваемого изображения геометрически определяются соответственно ответные положения области анализируемого изображения.
Согласно изобретению, наконец предусмотрено, что в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов. В рамках анализа данных теплового изображения в пределах каждого положения области анализируемого изображения (корреспондирует с соответствующим положением области распознаваемого изображения) для каждого полностью или частично отображенного в данных теплового изображения несущего ролика автоматически на основе содержащейся в данных теплового изображения тепловой информации (температурной информации) точек определяется данное функциональное состояние. За счет того, что анализу подвергаются не все данные теплового изображения теплового изображения, а лишь небольшая, специфическая для детали часть этих данных, гарантируется, что для определения функционального состояния привлекаются, прежде всего, релевантные данные, так что за счет этого, вообще, возможен надежный и одновременно прозрачный автоматический анализ с целесообразными результатами высокой значимости. Даже если заявленный способ может применяться при определении функционального состояния отдельных несущих роликов, он дает особые преимущества при определении для большого числа несущих роликов, в частности при одновременном определении функциональных состояний нескольких несущих роликов станины или гирлянды, а также при перекрывающем изображения определении функционального состояния одного несущего ролика, представленного на нескольких изображениях. В равной мере этот способ особенно целесообразен в случае лотковых или свернутых конвейерных лент, т.к. в таких системах несущие ролики лишь в меньшей степени закрыты другими элементами ленточной конвейерной установки, так что они особенно легкодоступны для автоматизированной инспекции.
Заявленный способ включает в себя различные этапы, на которых осуществляется автоматическая оценка, например в рамках распознавания или классификации. Такая автоматическая оценка происходит, например, при автоматическом распознавании областей данных изображения (там, в частности, при автоматической идентификации областей данных изображения, в которых изображены распознаваемые объекты, а также при автоматическом отнесении распознаваемого объекта к определенному классу, в частности к несущим роликам или участкам несущих роликов), при анализе данных теплового изображения в положении области анализируемого изображения (там, в частности, при автоматическом выборе данных теплового изображения в установленных положениях области анализируемого изображения и при автоматической привязке выявленных температурных данных к определенному функциональному состоянию), при автоматическом прогнозе срока службы несущих роликов и автоматическом составлении планов обслуживания или при основанном на изображениях определении положения. Согласно заявленному способу, отдельные этапы, на которых осуществляется автоматическая оценка, могут быть реализованы, в принципе, произвольно, например, за счет твердых правил условий оценки и соответствующих предельных значений. Однако особенно предпочтительно, если отдельные из этих автоматических оценок или несколько – при необходимости, даже все – автоматические оценки осуществляются в рамках методов, основанных на машинном обучении (machine learning, ML), поэтому данное выполнение особенно предпочтительно. Машинным обучением называется метод, при котором учебные алгоритмы из обученных примерных данных (тренировочных данных) создают комплексную статистическую модель. Эта модель может затем применяться к данным того же рода, что и примерные данные, или сопоставимого с примерными данными рода, чтобы получить автоматическую оценку без программирования для этого оценочной схемы. Такая статистическая модель может быть создана, например, на основе искусственных нейросетей (artificial neuronal network, ANN, KNN). Они образованы большим числом узлов, расположенных в виде слоев (уровней) в структурах данных. На этапе обучения обычно в соединениях между узлами варьируются значимости (факторы весомости), пока не будут получены результаты, соответствующие введенным данным. Если критерий или структурный элемент, который может служить основой оценки, заранее известен, то этот критерий включается в процессе обучения и сообщается искусственной нейросети. Такая искусственная нейросеть может быть реализована, в принципе, в самом беспилотном транспортном средстве или же отделена от него, например на внешнем устройстве обработки данных, например сервере или в облачных вычислениях (Cloud).
Согласно одному варианту, способ может быть осуществлен при этом так, что данные изображения по меньшей мере одного участка ленточной конвейерной установки регистрируются как данные теплового изображения за счет того, что по меньшей мере одно беспилотное транспортное средство по меньшей мере с одной системой датчиков изображения, содержащей по меньшей мере одно тепловизионное сенсорное устройство для регистрации данных теплового изображения, движется вдоль по меньшей мере одного участка ленточной конвейерной установки, с помощью системы датчиков изображения регистрируются данные изображения по меньшей мере одного участка ленточной конвейерной установки, включающие в себя по меньшей мере данные теплового изображения, в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения за счет того, что в зарегистрированных данных изображения автоматически распознаются области данных изображения, в которых отображен по меньшей мере один участок несущего ролика, и положение соответственно распознанной области данных изображения автоматически создается в виде положения области распознаваемого изображения соответствующего несущего ролика, для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения за счет того, что для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения, в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения за счет того, что в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика, и выявленные из положении области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию соответствующих несущих роликов.
При этом, следовательно, в зарегистрированных данных изображения ленточной конвейерной установки автоматически определяется по меньшей мере одно положение области распознаваемого изображения за счет того, что в зарегистрированных данных изображения автоматически распознаются сначала области данных изображения, в которых отображен по меньшей мере один участок несущего ролика. Затем автоматически создается положение соответственно распознанной области данных изображения в виде положения области распознаваемого изображения соответственно распознанного несущего ролика. Такое автоматическое распознавание области данных изображения может осуществляться, например, по принципу вышеописанного распознавания узора. Возникающую в других способах распознавания, например при сравнении изображений с историческими сравнительными данными изображения, восприимчивость к изменениям условий регистрации изображений (например, вследствие меняющейся освещенности, изменений положений съемки или временного скрытия) можно, таким образом, уменьшить и за счет этого еще больше повысить надежность и прозрачность определения функционального состояния.
Для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения. Если сенсорное устройство, с которым были зарегистрированы данные изображения, лежащие в основе определения областей распознаваемого изображения, находится близко к тепловизионному сенсорному устройству, и оба сенсорных устройства аналогичным образом ориентированы, то положение области распознаваемого изображения пространственно корреспондирует с соответствующим положением области анализируемого изображения таким образом, что оба положения в пределах соответствующих данных изображения пространственно идентичны; при равном представлении (например, в отношении угла раскрытия, разрешении элементов изображения или величины области представления данных изображения) это означает, что положение области распознаваемого изображения может быть заимствовано непосредственно как соответствующее положение области анализируемого изображения, а при отклонениях в представлении для изменения координат дополнительно требуется соответствующий перерасчет. Если оба сенсорных устройства отстоят друг от друга и/или углы рассмотрения отличаются, то требуется дополнительный геометрический перерасчет для согласования статических и/или динамических отличий, например компенсация параллакса, чтобы определить и установить из положения области распознаваемого изображения в данных изображения соответствующее, пространственно корреспондирующее положение области анализируемого изображения в данных теплового изображения. Также здесь это может принести с собой дополнительный выигрыш в эффективности и, тем самым, улучшение использования ресурсов и позволить отказаться от идентификации других целевых объектов в качестве несущих роликов.
При анализе данных теплового изображения наконец в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика, и выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию соответствующих несущих роликов. Температурными данными (тепловыми данными) несущих роликов могут быть, например, локальные, с пространственным разрешением температуры поверхностей несущих роликов и, в частности, их опор, а также статически выведенные из них характеристические температурные параметры соответствующего несущего ролика, которые представляют актуальное тепловое состояние, например минимальные значения, максимальные значения, средние значения, центральные значения (медиана), локальные значения накопления, а также параметры распределения температур, прежде всего, его ширина, мера рассеяния и симметрия. На основе температур поверхности и/или характеристических температурных параметров несущего ролика или участка несущего ролика определяется функциональное состояние (функциональный статус) соответствующего несущего ролика, которое привязывается к нему.
Как уже сказано, в рамках способа могут осуществляться отдельные, несколько или все автоматические оценки (этапы обнаружения), основанные на машинном обучении. Согласно другому варианту, далее оказалось благоприятным, если способ осуществляется так, что качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных изображения, в частности качество автоматического распознавания областей данных изображения, в которых отображен по меньшей мере один распознаваемый объект, в частности по меньшей мере один участок несущего ролика, и/или качество автоматического распознавания несущих роликов или участков несущих роликов в распознанных областях данных изображения повышается с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности посредством одно- или многоступенчатой сверточной нейросети. Вследствие этого при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных изображения качество распознавания можно улучшить с помощью метода обучения, который осуществляется посредством искусственной нейросети. Определение положения области распознаваемого изображения в зарегистрированных данных изображения включает в себя при этом по меньшей мере один этап распознавания, осуществляемый посредством искусственной нейросети. Это может быть, в частности, автоматическим распознаванием областей данных изображения, в которых отображен по меньшей мере один распознаваемый объект (в частности, несущий ролик или по меньшей мере один участок несущего ролика), или автоматическим распознаванием несущих роликов или участков несущих роликов в распознанных областях данных изображения. Качество распознавания является статистической мерой точности процесса распознавания и представляет собой долю правильно распознанных распознаваний в общем числе осуществленных, в целом распознаваний. Чем лучше распознавание, тем выше (и тем самым лучше) качество распознавания. Особенно предпочтительно, если метод обучения осуществляется посредством одно- или многоступенчатой сверточной нейросети. Последняя является искусственной нейросетью, которая способна обрабатывать представленные в виде матрицы вводные данные. Она содержит фильтрующий уровень (фильтрующий слой, сверточный слой) с одним или несколькими фильтрами (обычно 16-32 фильтра) для анализа введенных в виде матрицы данных в рамках дискретной свертки, вывод которых также содержит матричную форму. Выводные данные этого фильтрующего уровня могут служить вводными данными для следующего, при необходимости, дополнительного фильтрующего уровня, за которым следует агрегационный уровень (агрегационный слой, пулинговый слой) для передачи соответственно самого представительного сигнала на следующие уровни. Эта структура может повторяться, при необходимости, многократно, а завершается сеть по меньшей мере одним уровнем со структурой регулярной нейросети (полносвязный слой), которая связана с уровнем вывода. При этом сверточная нейросеть может быть одно- или многоступенчатой, т.е. содержать только один уровень или же несколько уровней тренируемых значимостей.
Согласно другому варианту, способ может осуществляться далее так, что в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения за счет того, что в установленных положениях области анализируемого изображения автоматически выбираются данные теплового изображения, которые являются данными теплового изображения несущих роликов, и в установленных положениях области анализируемого изображения автоматически анализируются данные теплового изображения. При этом в пределах установленных положений области анализируемого изображения автоматически выбираются данные теплового изображения, которые являются данными теплового изображения несущих роликов. Затем в установленных положениях области анализируемого изображения автоматически анализируются выбранные данные теплового изображения. Таким образом, анализ данных теплового изображения в пределах положений области анализируемого изображения ограничены такими данными теплового изображения, которые происходят, прежде всего, от несущего ролика, и не анализируются такие данные теплового изображения, которые, правда, содержатся в положениях области анализируемого изображения, однако не происходят от поверхности несущего ролика и потому не дают никакой информации об их функциональном состоянии. При этом автоматический выбор тех данных теплового изображения из положений области анализируемого изображения, которые объясняются соответственно несущими роликами или их участками, может происходить, например, методами, которые основаны на твердых правилах или на машинном обучении. Это позволяет дополнительно уменьшить учитываемый при анализе массив данных, благодаря чему не только уменьшаются затраты при определении функционального состояния, но и повышается качество при определении функционального состояния, как и, вообще, прозрачность определения.
При этом, согласно другому варианту, возможно, чтобы автоматически выбирались данные теплового изображения, лежащие на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам того же температурного уровня. При этом тепловые данные на автоматически выбранных участках представляют собой тепловые данные несущих роликов и, в частности, их опор и затем автоматически анализируются. При этом в качестве участков автоматически выбираются, следовательно, данные теплового изображения, которые лежат в пределах установленных положений области анализируемого изображения (и, тем самым, в пределах установленных областей анализируемого изображения) и в которых данные изображения расположены круговыми или близкими к круговым контурами. Тепловые данные расположены круговыми или близкими к круговым контурами тогда, когда в тепловых данных измеряемые величины (в частности, значения интенсивности, представляющие температуры поверхности) имеют пространственное распределение, форма которого выведена из окружности или перспективно искаженной окружности (например, овала, в частности эллипса), что включает в себя участки (например, дугу окружности, часть окружности, круговой сегмент, кольцо, часть кольца, отрезок кольца, часть овала, часть эллипса и т.п.); сюда относятся, разумеется, также кругообразные контуры. Такие круговые или близкие к круговым контуры могут быть, прежде всего, концентрическими или конфокальными. При этом область изображения (область анализируемого изображения) в пределах каждого положения области анализируемого изображения исследуется на кругообразные контуры, и делается выбор, например, таких участков, которые представляют собой среднее значение всех круговых или близких к круговым контуров, или их центры или фокусы идентичны или лежат близко друг к другу (т.е. на достаточно малом расстоянии друг от друга).
В равной степени могут автоматически выбираться данные теплового изображения, которые лежат в пределах установленных положений области анализируемого изображения и в которых данные теплового изображения соответствуют температурам того же температурного уровня. Лежащей в основе сенсорной регистрации данных теплового изображения измеряемой величиной является температура (температура поверхности) отображенного объекта. Если при этом данные теплового изображения на участках области анализируемого изображения соответствуют температурам выше или ниже определенных предельных значений или температурам из определяемого парой предельных значений интервала, то эти данные теплового изображения соответствуют температурам того же температурного уровня. При этом температуры того же температурного уровня могут быть расположены, в частности, также в пространственно взаимосвязанных диапазонах. Соответствующие предельные значения температур устанавливаются заранее. При типичной максимальной рабочей температуре поверхности несущих роликов (в частности, их опор) ленточной конвейерной установки 70°С можно, например, для температур в диапазоне от более чем 70°С до самое большее 80°С предусмотреть контроль несущего ролика в короткие интервалы времени, для температур в диапазоне от более чем 80°С до самое большее 90°С – запланировать замену несущего ролика, а для температур в диапазоне от более чем 90°С – предусмотреть немедленную замену несущего ролика. Если должны контролироваться несущие ролики только в потенциально критическом функциональном состоянии, то в этой ситуации интервалы температур могут быть установлены, например, так, что выбираются только температуры более чем 70°С. Если же документирование температурных данных желательно также для несущих роликов в надлежащем функциональном состоянии, то температурные данные могут быть определены для всех диапазонов и подвергнуты подробному анализу лишь в релевантных или представляющих потенциальный интерес температурных диапазонах. Так, например, подробному анализу могут подвергаться лишь данные теплового изображения из наивысшего измеренного интервала температур, т.е. температур более чем 90°С; если этих высоких данных теплового изображения не существует, то могут быть анализированы данные теплового изображения из интервала температур от более чем 80°С до самое большее 90°С, а если они также не существуют, то данные теплового изображения из интервала температур от более чем 70°С до самое большее 80°С, а если и они не существуют, то все данные теплового изображения.
Согласно обоим описанным способам, выбор может осуществляться на основе схемы твердых правил, однако предпочтительно методом, основанным на машинном обучении. Варианты используются альтернативно, однако для повышения качества распознавания могут осуществляться также комбинированно. В этом случае в установленных положениях области анализируемого изображения участки, на которых данные теплового изображения соответствуют температурам того же температурного уровня, сравниваются в отношении формы и протяженности с участками, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами. Автоматически выбранными последними данными теплового изображения являются тогда данные теплового изображения области, возникающей в качестве общего пересечения множеств (площадь сечения) обоих участков из разных вариантов.
При этом, согласно другому варианту, качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов, можно улучшить с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности качество распознавания при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами, и/или на которых данные теплового изображения соответствуют температурам того же температурного уровня. Вследствие этого автоматические оценки, на которых основан автоматический выбор данных теплового изображения, являющихся данными теплового изображения несущих роликов, осуществляются, следовательно, в рамках методов, основанных на машинном обучении, причем качество распознавания улучшается методами обучения, осуществляемыми посредством искусственной нейросети. При этом речь может идти, в частности, об оценках, связанных с автоматическим выбором данных теплового изображения, которые расположены круговыми или близкими к круговым контурами и/или соответствуют температурам того же температурного уровня.
Согласно другому варианту, способ может осуществляться так, что данные изображения ленточной конвейерной установки привязываются к соответствующему положению в ней и/или для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику ленточной конвейерной установки, причем привязка осуществляется посредством определения положения на основе радио, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством пути и/или регистрации ориентации системы датчиков изображения. Такая привязка обеспечивает однозначную идентификацию представленного в данных изображения объекта. Вследствие этого данные изображения ленточной конвейерной установки, т.е. данные теплового изображения и, при необходимости, другие данные изображения, например данные фотоизображения, могут быть привязаны соответственно к положению в качестве локального положения в ленточной конвейерной установке. Локальным положением (местоположением) является однозначно установленная посредством координат точка в пространстве, т.е., например, за счет географических координат, за счет указания относительного положения в пределах ленточной конвейерной установки или за счет пройденного транспортным средством пути. Привязанным к данным изображения локальным положением может быть при этом местоположение представленных в данных изображения объектов, местоположение беспилотного транспортного средства, местоположение визуализирующего сенсорного устройства, посредством которого были зарегистрированы данные изображения, или местоположение другой установленной эталонной точки. Вместо этого или дополнительно для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация могут быть привязаны соответственно к индивидуальному несущему ролику ленточной конвейерной установки. Такая привязка сопоставима с описанным выше указанием относительного положения.
Для привязки положения необходимо, следовательно, определить пространственное положение. Точное пространственное положение, при необходимости, с привлечением направления взгляда позволяет, как правило, однозначно идентифицировать соответствующий несущий ролик. Определение пространственного положения может осуществляться, в частности, посредством определения положения на основе радиосвязи, сравнения зарегистрированных данных изображения со сравнительными данными изображения, регистрации пройденного беспилотным транспортным средством пути и/или регистрации ориентации системы датчиков изображения. Определение положения на основе радиосвязи может осуществляться, например, посредством спутниковой системы навигации, такой как GPS или Галилео, радионавигационной системы наземного базирования, такой как Decca или Loran, системы ближней навигации или транспондерной системы ближнего действия, такой как RFID-транспондеры на станциях несущих роликов. Регистрация пути прохождения беспилотным транспортным средством может осуществляться, например, посредством точного отслеживания (Tracking) пройденного транспортным средством пути, а также всех изменений направления, если в качестве частичного эталона известна по меньшей мере одна точка пути, например начальная точка, конечная точка или путевая точка через самую середину. Регистрация ориентации системы датчиков изображения может осуществляться, например, посредством электронного компаса (магнетометр) или инерциального измерительного блока (inertial measurement unit, IMU) с инерциальными датчиками (инерционные датчики) на или в транспортном средстве (включая его систему датчиков), посредством которого могут регистрироваться ускорения и частоты вращения, в сочетании с регистрацией времени; вместо этого возможна также основанная на времени непрерывная регистрация данных изображения (например, в виде серийного изображения, фильма или длительной записи), при которой можно осуществлять определение ориентации на основе штампов времени и отображенных измерений направления.
Сравнение зарегистрированных данных изображения со сравнительными данными изображения может осуществляться, например, на основе зарегистрированных посредством системы датчиков данных теплового изображения или данных фотоизображения (соответственно по отдельности или в комбинации между собой); они могут записываться моно- или стереоскопически в виде отдельных изображений, последовательностей изображений или динамических изображений. Вместо этого такие данные изображения могут регистрироваться также отдельными устройствами, например в виде данных расстояния способами сканирования, такими как лазерное сканирование (включая лазерные сканеры с тепловизионными камерами), лидар/ладар, сонар или радар. Для сопоставления эти данные изображения сравниваются со сравнительными данными изображения, например с заранее зарегистрированными сравнительными данными изображения или заранее составленной пространственной (трехмерной) моделью ленточной конвейерной установки или ее окружения, которая может иметь, например, вид трехмерного облака точек. Сравнение может быть реализовано с использованием твердых правил или в рамках машинного обучения.
Иногда пространственной точности отдельных способов может быть недостаточно, чтобы обеспечить однозначную идентификацию отображенного несущего ролика. Это может быть, например, в случае традиционных GPS-систем (более высокое пространственное разрешение имеют, например, дифференциальные GPS-системы). В этом случае целесообразно применить сразу несколько способов определения положения, например дополнительно к GPS-системе использовать также компасную систему, например на основе калиброванных инерциальных датчиков, чтобы обеспечить требуемую точность.
Согласно другому варианту, способ может осуществляться, кроме того, так, что выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию несущего ролика за счет того, что выявленные температурные данные соответствующего несущего ролика автоматически классифицируются как данное функциональное состояние из большого числа заранее установленных функциональных состояний или привязываются к данному функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа. Вследствие этого выявленные для несущего ролика температурные данные могут быть автоматически классифицированы как единственное функциональное состояние, причем это функциональное состояние происходит из большого числа заранее установленных функциональных состояний. Классы для классификации заранее устанавливаются в соответствии с требованиями конкретной ленточной конвейерной установки, а именно один для несущих роликов, у которых функциональный отказ уже произошел (т.е. для дефектного несущего ролика при полном нарушении функции), и один для несущих роликов, у которых функциональный отказ еще не произошел (независимо от того, нарушена ли функция лишь незначительно, или функциональный отказ уже произошел). Более целесообразная дифференциация обеспечивает тройную классификацию (в соответствии с разделением «хороший», «средний», «плохой» или «неизношенный», «частично изношенный» или «изношенный»), при которой различают несущие ролики, у которых нарушение функции еще не произошло, несущие ролики, у которых нарушение функции уже произошло, и несущие ролики, у которых функциональный отказ уже произошел. Кроме того, классификация может включать в себя также дополнительные классы, причем, в частности, дальнейшая дифференциация среднего из трех классов представляется целесообразной, чтобы отобразить различные состояния износа и различить различные точки для замены, например классификация, в общей сложности, по четырем, пяти, шести и более классам. Вместо классификации можно для привязки провести также кластерный анализ (агломерационный анализ), т.е. как способ объединения (группирование, кластеризация) данных в различные однородные группы (кластеры) на основе сходных структур, распознаваемых в ходе способа в массивах данных. Кластерный анализ является структурораспознающим способом, так что заранее устанавливать отдельные классы не требуется. В качестве опции кластерный анализ может быть многовариантным и, тем самым, зависеть от более чем одной переменной. Также для оценок, осуществляемых в рамках такой привязки, в частности в рамках кластерного анализа, целесообразно прибегнуть к методам, основанным на машинном обучении.
Согласно другому варианту, при этом может быть целесообразным, если способ осуществляется так, что в каждом установленном положении области анализируемого изображения данные теплового изображения автоматически анализируются за счет того, что в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения автоматически определяются температурные данные в качестве характеристических температурных параметров соответствующего несущего ролика, причем характеристическими температурными параметрами данных теплового изображения в установленных положениях области анализируемого изображения являются, в частности, минимальные значения, максимальные значения, средние значения, центральные значения, локальные значения накопления, а также параметры распределения температур, прежде всего, его ширина, мера рассеяния и симметрия. Характеристическими температурными параметрами являются параметры, которые выведены из температуры и характеризуют актуальное состояние несущего ролика; обычно речь идет при этом о параметрах, получаемых в рамках статистического анализа локальных температур. Если данные теплового изображения непосредственно не содержат температуру поверхности, то она может быть вычислена сначала по соответствующим тепловым данным, прежде чем будет осуществлен статистический анализ температур.
В частности, согласно другому варианту, при этом предпочтительно, если способ осуществляется так, что качество распознавания при автоматическом определении функционального состояния несущих роликов, в частности классификация данных теплого изображения, улучшается с помощью проводимого посредством искусственной нейросети метода обучения. Даже если автоматическое определение функционального состояния может осуществляться, в принципе, любыми подходящими способами, т.е. также на основе схемы твердых правил, то для автоматического определения функционального состояния применяются предпочтительно методы, основанные на машинном обучении. Вследствие этого автоматические оценки, на которых основано автоматическое определение функционального состояния несущих роликов, осуществляются, следовательно, в рамках методов, основанных на машинном обучении, причем качество этой оценки улучшается методами обучения, осуществляемыми посредством искусственной нейросети. При этом речь может идти, в частности, об оценках, связанных с классификацией данных теплового изображения.
Согласно другому варианту, способ может осуществляться, кроме того, так, что для соответствующего несущего ролика функциональное состояние, данные изображения и/или, при необходимости, выявленные температурные данные записываются в хранилище данных о функциональных состояниях. При этом получают хранилище данных о функциональных состояниях, содержащее актуальное функциональное состояние несущего ролика, преимущественно функциональные состояния всех несущих роликов ленточной конвейерной установки. Такое хранилище данных о функциональных состояниях может иметь, например, вид базы данных. Подобные хранилища с функциональными состояниями, данными изображения и/или температурными данными (включая характеристические температурные параметры) могут служить, например, в целях документирования.
Дополнительно к актуальным данным такое хранилище данных о функциональных состояниях может содержать также исторические данные, которые представляют собой прошлые функциональные состояния. В этом виде оно может быть привлечено также в качестве основы для составления прогнозов о временнóм развитии функционального состояния несущих роликов. Сохранение соответствующих данных может при этом осуществляться в запоминающем устройстве, находящемся на беспилотном транспортном средстве, или же во внешнем запоминающем устройстве, находящемся вне беспилотного транспортного средства, например в устройстве обработки данных, например на сервере. В случае внешнего сохранения данные могут передаваться на внешнее устройство обработки данных вскоре после регистрации данных изображения (например, в режиме реального времени или со сдвигом по времени), во время инспекционной поездки беспилотного транспортного средства или же по ее окончании, например с базовой станции (сервисной станции), на которой транспортное средство находится между двумя инспекционными поездками. При этом в целях документирования сохраняются, в частности, фотоданные в виде фотоснимков (фотографии, RGB-изображения, в частности цифровые фотографии), а также данные теплового изображения в виде тепловизионных снимков (тепловые изображения, термографии, термоизображения, в частности цифровые термофотографии), причем информация о положении и информация о пути сохраняется отдельно или может содержаться в виде метаинформации в соответствующих данных изображения.
Данные, содержащиеся в таком хранилище данных о функциональных состояниях, могут запрашиваться эксплуатантом или обслуживающим персоналом, например в текстовой форме или в виде воспроизведения изображения. Это позволяет простым образом получить обзор различной информации о состоянии, например подробной расстановке всех несущих роликов, включая индивидуальные комментарии и историю обслуживания, подробной информации о температуре индивидуальных несущих роликов, геоинформации о быстрой локализации поврежденных несущих роликов, представление о наступившем до сих пор износе и функциональных отказах всех несущих роликах, а также о прогнозируемом износе и характере отказов. Эта информация о состоянии несущих роликов и история обслуживания могут, при необходимости, дополняться вручную.
Далее, согласно другому варианту, может быть целесообразным, если способ осуществляется так, что в случае, если при автоматическом определении положения области распознаваемого изображения положение распознавания индивидуального несущего ролика не распознается или при анализе данных теплового изображения определяются температурные данные, не обеспечивающие определение функционального состояния, на беспилотное транспортное средство подается команда запроса, чтобы заново зарегистрировать данные изображения в зоне ленточной конвейерной установки, в которой находится индивидуальный несущий ролик. Таким образом, при ошибочной или нарушенной регистрации можно инициировать новую регистрацию данных изображения, чтобы получить для несущих роликов полный набор анализируемых данных. При этом регистрация данных изображения может быть ограничена такими несущими роликами, для которых соответствующие данные отсутствуют. Такие же действия могут быть предприняты в экстренном случае или при неисправности для индивидуального контроля причины возникших при эксплуатации неполадок.
Изобретение относится далее к способу идентификации поврежденных несущих роликов ленточной конвейерной установки во время ее эксплуатации, включающему в себя описанный выше способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки, причем несущие ролики с нарушенной функциональностью распознаются с помощью сравнения с историческими данными из базы данных о функциональных состояниях, определяется момент времени замены соответствующего несущего ролика, и для этого несущего ролика выявленный момент времени подается на коммуникационный интерфейс. При таком способе идентифицируются поврежденные несущие ролики ленточной конвейерной установки, которые, следовательно, уже вышли из строя или же предположительно выйдут из строя в обозримый промежуток времени. Существенным этапом этого способа является описанный выше способ машинного определения функционального состояния несущих роликов, при котором распознаются поврежденные несущие ролики. Актуально записанные данные сравниваются с историческими данными из базы данных о функциональных состояниях, и определяется оптимальный момент времени замены соответствующих несущих роликов. Чтобы определить оптимальный момент времени, учитываются как прогноз ожидаемого полного выхода из строя несущего ролика, так и специфические для установки обстоятельства, например интервалы времени обслуживания и т.п. Прогноз может быть сделан, например, с учетом исторических данных за счет того, что историческая характеристика температуры несущего ролика экстраполируется на установленную критическую максимальную температуру (например, в рамках регрессионного анализа), при которой ожидается полный выход из строя, например на температуру 90°С. Замена этого несущего ролика может осуществляться тогда автоматически в рамках того проводимого в регулярно установленные сроки мероприятия по обслуживанию, которое происходит незадолго до момента времени, в который предположительно достигается критическая максимальная температура. Также в отношении осуществляемых в рамках такого прогноза оценок целесообразно прибегнуть к методам, основанным на машинном обучении. На основе таких анализов можно составить оптимизированную по эффективности схему обслуживания всей ленточной конвейерной установки, в которой минимизированы простои и издержки на обслуживание и максимизированы интервалы замены. Выявленный, таким образом, момент времени передается на коммуникационный интерфейс, например отображается в виде визуальной информации на дисплее, посылается в виде электронной почты на заранее открытый счет, подается в виде указания по эксплуатации системе управления и контроля установки или включается в виде автоматически составленной календарной записи в программы управления сроками. Кроме того, могут быть приняты также дополнительные меры, например могут быть автоматически вызваны требуемые техники или автоматически заказаны отсутствующие необходимые запчасти.
Таким образом, можно дополнительно к распознаванию аномалий и актуальному износу несущих роликов в рамках инспекции и контроля прогнозировать также будущее поведение, например для профилактического обслуживания (предиктивное поддержание в исправном состоянии) или при создании цифровой модели установки.
В случае непосредственно предстоящего функционального отказа несущего ролика и связанной с этим безотлагательной замены такого несущего ролика подача момента времени обслуживания на коммуникационный интерфейс может включать в себя также сигнал тревоги, при необходимости, связанный с экстренным отключением всей ленточной конвейерной установки, чтобы предотвратить дальнейшие повреждения. Тем самым, изобретение относится также к способу идентификации поврежденных несущих роликов ленточной конвейерной установки во время ее эксплуатации, включающему в себя вышеописанный способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в любых возможных вариантах, причем поврежденные несущие ролики обнаруживаются и в случае обнаружения поврежденного несущего ролика для него на коммуникационный интерфейс подается сигнал уведомления.
Изобретение относится далее к способу создания цифровой модели ленточной конвейерной установки, включающему в себя вышеописанный способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в любых возможных вариантах, причем для соответствующего несущего ролика используются функциональное состояние и выявленные температурные данные в сочетании с другими эксплуатационными параметрами ленточной конвейерной установки в качестве базовых данных для определения поведения несущих роликов в цифровой модели. Также в этом способе заявленный способ представляет собой существенный этап, причем температурные данные каждого несущего ролика и выявленное для этого функциональное состояние используются в сочетании с другими параметрами процесса ленточной конвейерной установки в качестве базовых данных, чтобы в цифровой модели ленточной конвейерной установки смоделировать индивидуальное поведение соответствующего несущего ролика в зависимости от изменений в ходе процесса или условий процесса и чтобы на основе этих базовых данных можно было прогнозировать или симулировать ключевые индикаторы или рабочие точки ленточной конвейерной установки.
Наконец изобретение относится к устройству для машинного определения функционального состояния несущих роликов ленточной конвейерной установки во время ее эксплуатации, содержащему по меньшей мере одно движущееся вдоль по меньшей мере одного участка ленточной конвейерной установки беспилотное транспортное средство по меньшей мере с одной системой датчиков, посредством которой ленточная конвейерная установка по меньшей мере местами контролируется сенсорно в виде данных изображения, и которая содержит по меньшей мере одно тепловизионное сенсорное устройство для регистрации данных теплового изображения, устройство обработки данных для оценки зарегистрированных данных теплового изображения, чтобы определить функциональное состояние несущих роликов ленточной конвейерной установки во время ее эксплуатации, причем устройство обработки данных содержит модуль определения области изображения, автоматически определяющий в зарегистрированных данных изображения положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика, модуль установления области изображения, автоматически устанавливающий для выявленного положения области распознаваемого изображения из данных изображения соответственно положение области анализируемого изображения в данных теплового изображения, и модуль определения состояния, автоматически анализирующий в установленном положении области анализируемого изображения данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов.
Согласно другому варианту, устройство может быть выполнено так, что модуль определения области изображения содержит модуль распознавания области изображения и интерфейсный модуль, из которых модуль распознавания области изображения автоматически распознает в зарегистрированных данных изображения области данных изображения, в которых отображен по меньшей мере один участок несущего ролика, а интерфейсный модуль автоматически создает положение распознанной области данных изображения в качестве положения области распознаваемого изображения соответствующего несущего ролика, причем модуль распознавания области изображения автоматически устанавливает для каждого выявленного положения области распознаваемого изображения несущего ролика из данных изображения соответственно положение области анализируемого изображения несущего ролика в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных изображения, причем модуль определения состояния содержит модуль анализа и модуль привязки, из которых модуль анализа автоматически определяет в установленном положении области анализируемого изображения несущего ролика из данных теплового изображения температурные данные соответствующего несущего ролика, а модуль привязки автоматически привязывает выявленные из положения области анализируемого изображения температурные данные к функциональному состоянию соответствующих несущих роликов.
При этом, согласно другому варианту, может быть предпочтительным, если устройство выполнено так, что устройство обработки данных (установка обработки данных) содержит по меньшей мере одну обучаемую искусственную нейросеть, посредством которой происходит по меньшей мере одно из следующих распознаваний: распознавание несущих роликов или участков несущих роликов для автоматического определения областей данных изображения в зарегистрированных данных изображения, в которых отображен по меньшей мере один участок несущего ролика, распознавание данных теплового изображения несущего ролика для автоматического определения температурных данных в установленном положении области анализируемого изображения несущего ролика, распознавание функциональных состояний несущего ролика из его выявленных температурных данных для автоматической привязки к функциональному состоянию несущих роликов.
Выше уже описаны важные составные части, а также отдельные опциональные составные части такого устройства для машинного определения функционального состояния несущих роликов ленточной конвейерной установки. Устройство обработки данных содержит модуль определения области изображения, модуль установления области изображения и модуль определения состояния. Далее модуль определения области изображения может содержать модуль обнаружения области изображения и интерфейсный модуль, а модуль определения состояния – модуль анализа и модуль привязки. В зависимости от конкретного варианта, устройство обработки данных для оценки зарегистрированных данных изображения может находиться на самом транспортном средстве или на расстоянии от него, например в виде сервера или облачных вычислений. Если устройство обработки данных находится на транспортном средстве, то данные могут передаваться от системы датчиков беспроводным путем или по кабелю для дальнейшей обработки на устройство обработки данных. Если устройство обработки данных пространственно отделено от транспортного средства, то передача данных на устройство обработки данных может происходить беспроводным путем, т.е., например, в виде радиопередачи, или же по кабелю, если транспортное средство находится на своей базовой станции. Таким образом, искусственная нейросеть может быть реализована в самом беспилотном транспортном средстве или же отделена от него, например во внешнем устройстве обработки данных.
Для пояснения изобретения ниже описаны репрезентативные примеры со ссылкой на соответствующие чертежи, причем поясняются также отдельные частичные этапы и процессы, которые в зависимости от желаемых целей такого способа могут почти произвольно комбинироваться между собой. Из этих примеров следуют другие преимущества и возможности применения, которые подробно описаны с помощью прилагаемых чертежей без ограничения лежащей в основе этих примеров общей идеи изобретения, причем поясняются также отдельные признаки и этапы, которые в зависимости от желаемых целей могут почти произвольно комбинироваться между собой.
На чертежах схематично изображают:
- фиг. 1: ленточную конвейерную установку с устройством для машинного определения функционального состояния несущих роликов в соответствии с одним вариантом осуществления данного изобретения;
- фиг. 2: ленточную конвейерную установку с устройством для машинного определения функционального состояния несущих роликов в соответствии с другим вариантом осуществления данного изобретения;
- фиг. 3: способ машинного определения функционального состояния несущих роликов ленточной конвейерной установки в соответствии с другим вариантом осуществления данного изобретения.
На фиг. 1 схематично изображена ленточная конвейерная установка 1 с устройством для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации в соответствии с одним вариантом осуществления данного изобретения. Ленточная конвейерная установка 1 содержит конвейерную ленту 11, отклоняемую двумя поворотными валиками 12, из которых один поворотный валик 12 выполнен в виде приводного барабана (в данном случае поворотный валик 12 справа). Верхняя ветвь конвейерной ленты 11 образует грузовую ветвь, по которой транспортируемый материал движется в направлении транспортировки (обозначено стрелкой). На верхней и нижней ветвях конвейерная лента 11 поддерживается несущими роликами 13. В данном случае конвейерная лента 11 направляется плашмя, так что несущие ролики 13 на станциях несущих роликов ориентированы горизонтально; здесь конвейерная лента 11 может направляться также в виде лотковой или свернутой конвейерной ленты, причем несущие ролики расположены тогда на станциях несущих роликов U-, V- или О-образно.
На ленточной конвейерной установке 1 расположено беспилотное транспортное средство 2. При этом речь идет об автономно движущемся или дистанционно управляемом транспортном средстве, которое дистанционно управляется оператором, например посредством системы дистанционного радиоуправления. Транспортным средством 2 является сухопутное наземное транспортное средство, однако оно может быть выполнено также иначе, например в виде летательного аппарата. Беспилотное транспортное средство 2 движется вдоль всей ленточной конвейерной установки 1. Кроме того, ей могут быть приданы также несколько беспилотных транспортных средств. Так, например, может быть предусмотрено, что каждое транспортное средство из некоторого числа беспилотных транспортных средств движется только на участке ленточной конвейерной установки 1, так что для контроля всей ленточной конвейерной установки 1 требуется каждое транспортное средство 2 из этого некоторого числа.
Беспилотное транспортное средство 2 содержит систему датчиков изображения, включающую в себя тепловизионное сенсорное устройство 21 и сенсорное устройство 22 фотоизображения. Оба расположены пространственно близко друг к другу, имеют одинаковую ориентацию и, в основном, одинаковый угол изображения, так что они регистрируют, в основном, одинаковое объектное пространство. В данном случае тепловизионным сенсорным устройством 21 является тепловизионная камера, а сенсорным устройством 22 фотоизображения – фотокамера (моно- или стереоскопическая), причем обе камеры записывают зарегистрированные данные изображения электронным путем в цифровой форме. В качестве данных изображения камеры могут записывать отдельные изображения или же соответствующие динамические изображения (киносъемка). Кроме того, беспилотное транспортное средство 2 содержит устройство 23 определения положения, чтобы регистрировать соответственно актуальное положение транспортного средства 2 в корреляции с соответственно зарегистрированными данными изображения в качестве позиционных данных; в данном случае речь идет о GPS-модуле, причем информация о положении включается в виде метаинформации в данные изображения. Вместо этого для определения положения может использоваться также фотосенсорное устройство 22, при необходимости, даже тепловизионное сенсорное устройство 21. Дополнительно система датчиков транспортного средства 2 содержит устройство регистрации ориентации, чтобы определять соответствующую ориентацию при регистрации данных изображения в виде информации об ориентации, в данном случае инерциальный измерительный блок.
Записанные данные изображения, позиционные данные и информация об ориентации передаются через модуль 24 передачи данных на устройство 3 обработки данных для их оценки в нем. В данном случае устройство 3 обработки данных реализовано отдельно от транспортного средства 2, например вблизи пункта управления ленточной конвейерной установкой 1. Вместо этого устройство 3 обработки данных может быть расположено также на транспортном средстве 2.
В устройстве 3 обработки данных данные, переданные модулем 24 передачи данных беспилотного транспортного средства 2, включая данные изображения – данные теплового изображения из тепловизионной камеры и данные фотоизображения из фотокамеры – принимаются модулем 38 передачи данных устройства 3 обработки данных. Данные фотоизображения (и, при необходимости, также данные теплового изображения) сначала подаются в модуль 31 определения области изображения, где они служат в качестве вводных данных модуля 32 распознавания области изображения модуля 31 определения области изображения. В модуле 32 распознавания области изображения автоматически распознаются области изображения, в которых отображены несущие ролики 13 или участки несущих роликов 13. Положения распознанных, таким образом, областей изображения (положения областей распознаваемого изображения) для дальнейшей обработки создаются посредством интерфейсного модуля 33 модуля 31 определения области изображения. Из интерфейсного модуля 33 модуль 34 установления области изображения отбирает положения распознанных в данных фотоизображения области изображения и автоматически устанавливает для них в данных теплового изображения соответствующие, пространственно корреспондирующие положения области изображения в качестве положений области анализируемого изображения. Данные теплового изображения с установленными положениями области анализируемого изображения подаются в модуль 35 определения состояния. Внутри модуля 35 определения состояния данные теплового изображения автоматически анализируются в модуле 36 анализа, причем анализ ограничен здесь соответственно установленными положениями области изображения несущих роликов 13. Результаты этого анализа вводятся в виде температурных данных несущего ролика 13 в модуль 37 привязки, который с помощью температурных данных, полученных в соответствующих положениях области анализируемого изображения из данных теплового изображения, автоматически привязывает к этому несущему ролику 13 его функциональное состояние.
Устройство 3 обработки данных содержит несколько обучаемых искусственных нейросетей (не показаны). Одна из этих обучаемых искусственных нейросетей служит для распознавания несущих роликов 13 и участков несущих роликов 13, чтобы определить области данных изображения в зарегистрированных данных изображения, в которых отображен по меньшей мере один участок несущего ролика 13. Другая из этих обучаемых искусственных нейросетей служит для распознавания данных теплового изображения несущего ролика 13, чтобы автоматически определить температурные данные несущего ролика 13 в установленном положении области анализируемого изображения несущего ролика 13. Еще одна из этих обучаемых искусственных нейросетей служит для распознавания функциональных состояний несущего ролика 13 из его выявленных температурных данных, чтобы автоматически привязать к соответствующему несущему ролику 13 его функциональное состояние. Искусственные нейросети используются также для соответствующих процессов машинного обучения.
На фиг. 2 схематично в перспективе изображен фрагмент ленточной конвейерной установки 1 со специальным устройством для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации в соответствии с одним особенным вариантом осуществления изобретения. Здесь показаны только верхняя ветвь конвейерной ленты 11 и беспилотное транспортное средство 2 устройства для машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1. Конвейерная лента 11 направляется в виде лотковой конвейерной ленты U-образной формы, что достигается посредством соответственно трех несущих роликов 13 на каждую станцию несущих роликов, расположенных в форме покоящейся на коротком основании трапеции, у которой длинное основание открыто. На каждой станции несущих роликов на коротком основании горизонтально расположен один несущий ролик 13, тогда как остальные два несущих ролика образуют стороны трапеции. Данные изображения ленточной конвейерной установки 1 регистрируются беспилотным транспортным средством 2, которое в данном случае выполнено как автономный дрон в виде квадрокоптера. Транспортное средство 2 движется, паря (плывя), параллельно направлению транспортировки (в направлении транспортировки или против него) рядом с верхней ветвью ленточной конвейерной установки 1. Дополнительно к беспилотному транспортному средству 2 могут быть предусмотрены другие беспилотные транспортные средства, которые могут следить, например, за различными участками ленточной конвейерной установки 1. В своей нижней части транспортное средство 2 содержит систему датчиков изображения, состоящую из тепловизионного сенсорного устройства 21 и сенсорного устройства 22 фотоизображения. Дополнительно система дитчиков содержит инерционные датчики и электронный компас (не показаны), с помощью которых регистрируется ориентация сенсорных устройств в виде информации об ориентации (после предварительной калибровки). С помощью тепловизионного сенсорного устройства 21 и ориентированного параллельно ему сенсорного устройства 22 фотоизображения регистрируются данные изображения несущих роликов 13 ленточной конвейерной установки 1. Сенсорное устройство 22 фотоизображения служит также для определения положения за счет того, что соответственно зарегистрированные данные фотоизображения сравниваются с предварительно составленным трехмерным облаком точек местности и ленточной конвейерной установки 1 и определяется однозначное положение; вместе с информацией об ориентации может, тем самым, осуществляться однозначная привязка несущих роликов 13, зарегистрированных в данных изображения. Вместо этого транспортное средство 2 может содержать также отдельное устройство 23 определения положения, например в виде GSM-модуля. В данном варианте зарегистрированные данные изображения и позиционные данные передаются транспортным средством 2 в виде радиосигналов на устройство 3 обработки данных (не показано), где происходит автоматическая оценка данных с участием обучаемых искусственных нейросетей. Вместо этого данные могут также сначала храниться в запоминающем устройстве в транспортном средстве 2 и только после возвращения транспортного средства 2 на базовую станцию, на которой заряжаются также вторичные аккумуляторы транспортного средства 2, передаваться на устройство 3 обработки данных. При использовании достаточно большого беспилотного транспортного средства 2 также можно расположить устройство 3 обработки данных вместе с запоминающим устройством на самом транспортном средстве 2, так что оценка данных происходит тогда на транспортном средстве 2.
Ниже описан компьютерный способ идентификации несущих роликов 13 с нарушенной функцией, который основан на способе машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации. Этот способ может применяться, в частности, в описанных в связи с фиг. 1 и 2 ленточными конвейерными установками 1 соответственно с устройством для машинного определения функционального состояния несущих роликов 13. Отдельные этапы этого способа схематично изображены на фиг. 3.
В этом способе предусмотрено беспилотное транспортное средство 2 по меньшей мере с одной системой датчиков изображения, посредством которой ленточная конвейерная установка 1 контролируется по меньшей мере местами сенсорно в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки 1 регистрируются в виде данных теплового изображения (этап 200). В зарегистрированных данных изображения ленточной конвейерной установки 1 автоматически определяется по меньшей мере одно положение области распознаваемого изображения (этап 300), в котором отображен по меньшей мере один участок несущего ролика 13. Для каждого выявленного положения области распознаваемого изображения из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения в данных теплового изображения (этап 410). В каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения (этап 400), чтобы автоматически определить функциональное состояние несущих роликов 13.
При этом по меньшей мере одно беспилотное транспортное средство 2 по меньшей мере с одной системой датчиков изображения , включающей в себя тепловизионное сенсорное устройство 21 для регистрации данных теплового изображения, движется вдоль по меньшей мере одного участка ленточной конвейерной установки 1. С помощью системы датчиков изображения беспилотного транспортного средства 2, движущегося вдоль главной протяженности (направление транспортировки) ленточной конвейерной установки 1, местами регистрируются данные фотоизображения (этап 100) и данные теплового изображения (этап 200). Беспилотным транспортным средством 2 может быть автономное или дистанционно управляемое беспилотное транспортное средство. В качестве автономных беспилотных транспортных средств рассматриваются, в частности, также дроны или роботы. Такое транспортное средство 2 может быть выполнено, в принципе, в виде колейного или неколейного транспортного средства, в частности в виде наземного транспортного средства или в виде летательного аппарата (например, квадрокоптера).
На этапе 100 с помощью системы датчиков изображения регистрируются данные фотоизображения по меньшей мере одного участка ленточной конвейерной установки 1, а на этапе 200 – данные теплового изображения. В зарегистрированных системой датчиков изображения этого транспортного средства 2 данных изображения полностью или частично отображены несущие ролики 13 участка ленточной конвейерной установки 1, в частности также опоры (подшипники качения) соответствующих несущих роликов 13. Данные фотоизображения и данные теплового изображения являются при этом статическими моноскопическими снимками, а именно цифровыми фотографиями и цифровыми тепловыми изображениями соответственно. Вместо этого могут использоваться также другие виды данных изображения, например соответствующие динамические изображения (подвижные изображения, видео), стереоскопические снимки и т.п.
Данные фотоизображения содержат здесь, помимо информации об изображении с пространственным разрешением, также точное положение (пространственное положение), в котором производилась съемка (а именно, в виде положения транспортного средства 2), а также информацию об ориентации, при каковой ориентации фотосенсорного устройства 22 производилась съемка (в качестве альтернативы или дополнительно соответствующая информация может содержаться также в данных теплового изображения). Эта дополнительная информация дополнительно к данным точек изображения (пиксельным данным) хранится в соответствующих файлах в виде метаданных. Вместо этого такая информация может, разумеется, храниться и передаваться также отдельно от данных изображения, пока она может быть однозначно привязана к соответствующим данным изображения, например посредством общего штампа времени. Положение определяется посредством устройства 23 определения положения, которое расположено на самом транспортном средстве 2 или же в устройстве 3 обработки данных. В данном случае устройством 23 определения положения является устройство для определения положения на основе радио, а именно для спутникового определения положения посредством GPS. Вместо этого могут применяться и другие устройства и способы определения положения, например определение положения на основе оптического распознавания окружения, например путем сравнения данных изображения с предварительно составленной трехмерной моделью местности, например в виде трехмерного облака точек, которое отображает также соответствующий участок ленточной конвейерной установки 1.
Данные изображения во время съемки или после нее подвергаются промежуточному хранению, а затем, например непосредственно после этого, передаются в твердые интервалы времени или после возвращения транспортного средства 2 на базовую станцию на устройство 3 обработки данных. В нем данные автоматически обрабатываются и вместе с результатами такой обработки данных записываются в виде целевых данных, например в виде баз данных. Полученные, таким образом, целевые данные через интерактивный коммуникационный интерфейс предоставляются пользователям, например сотрудникам эксплуатанта, сервисному персоналу, техникам и т.п.
На этапе 300 в зарегистрированных данных изображения ленточной конвейерной установки 1 автоматически распознаются области данных изображения, в которых отображен по меньшей мере один участок несущего ролика 13. Этот этап включает в себя автоматическое создание распознанных областей данных изображения в виде положения области распознаваемого изображения (этап 330), а также улучшение качества автоматического распознавания (этап 310). В конце этапа 300 положение соответственно распознанной области данных изображения автоматически создается в виде положения области распознаваемого изображения соответствующего несущего ролика 13 (этап 330).
В данном случае данными изображения являются данные фотоизображения, а областями данных изображения – области данных фотоизображения. Следовательно, в данных фотоизображения автоматически распознаются области данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект (этап 320). В распознанных, таким образом, областях данных фотоизображения среди распознаваемых объектов автоматически распознаются несущие ролики 13 или их участки. Следовательно, происходят детектирование и идентификация объектов, в частности несущих роликов 13 и соответствующих опор (подшипников качения) на основе этих данных фотоизображения. Для каждого распознанного несущего ролика 13 и для каждого распознанного участка несущего ролика 13 для дальнейшей обработки создается в виде положения области распознаваемого изображения (положение и класс объекта) положение области данных фотоизображения, в которой отображен несущий ролик 13 или участок несущего ролика 13 (этап 330).
Автоматическое распознавание областей данных изображения (этап 320) представляет собой в пределах этапа 300 центральный процесс. В данном случае автоматическое распознавание областей данных изображения (этап 320) основан на алгоритме машинного обучения. Качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных фотоизображения, в частности качество автоматического распознавания областей данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект (прежде всего по меньшей мере один участок несущего ролика 13), и/или качество автоматического распознавания несущих роликов 13 или участков несущих роликов 13 в распознанных областях данных фотоизображения улучшается с помощью метода обучения (этап 310), осуществляемого посредством искусственной нейросети на основе тренировочных данных (тренировочных изображений), например данных фотоизображения, в которых с помощью положения и обозначения объекта вручную маркируются такие области изображения, в которых отображены обучаемые объекты, в частности несущие ролики 13 или участки несущих роликов 13. С помощью тренировочных данных улучшается, в том числе, качество распознавания при классификации. Кроме того, в тренировочных данных могут быть маркированы также другие, характерные для ленточной конвейерной установки 1 объекты, например участки элементов каркаса, конвейерной ленты 11 и т.п. В этом случае тренировочные данные содержат тогда дополнительно в качестве идентификатора привязанный к распознанному объекту и верифицированный класс. У искусственной нейросети речь здесь идет о многоступенчатой сверточной нейросети (CNN), которая состоит из двух CNN-модулей. При этом первый CNN-модуль служит для просмотра областей данных изображения в данных фотоизображения, в которых могли бы находиться различные объекты. Результат этого просмотра передается затем на второй CNN-модуль, чтобы в идентифицированных, таким образом, потенциально релевантных областях данных изображения осуществить основанную на объекте классификацию. Результат этой классификации данных фотоизображения дает привязанный к распознанному объекту класс (название объекта, например «несущий ролик», «опора», «стальной кабель» и т.п.), которому присвоено значение вероятности от 0 до 1. Класс объекта с наивысшим значением вероятности представляет собой при этом результат этой оценки. Оценка изображения дает далее соответствующее положение классифицированного объекта в пределах данных изображения. В данном случае положение такого объекта определяется четырьмя цифрами, а именно двумя парами координат х/у, которые соответствуют положениям точек в изображении. Обе относящиеся к положениям точек точки в данных фотоизображения образуют в виде противоположных кромок прямоугольной рамки выбора прямоугольник, в который объект вписан в центральном положении. В зависимости от исследованных данных фотоизображения на одном снимке могут быть идентифицированы одновременно также несколько объектов.
Данные изображения ленточной конвейерной установки 1 привязываются соответственно к положению в ней. Дополнительно или вместо этого для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику 13 ленточной конвейерной установки 1. Привязка осуществляется, в частности, посредством определения положения на основе радио, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством 2 пути и/или регистрации ориентации системы датчиков изображения. Такая привязка может происходить в любой момент времени осуществления способа, прежде чем произойдет сравнение с историческими данными. Для этого сначала замеряется ленточная конвейерная установка 1, и устанавливается точное положение (положение GPS) каждого отдельного несущего ролика 13. Для особенно надежного анализа можно создать также трехмерную цифровую модель ленточной конвейерной установки 1 (она может служить к тому же для интуитивно регистрируемого отображения полученной информации). Каждый фотоснимок и снимок теплового изображения содержит тогда в качестве метаданных положение транспортного средства 2 (в виде координат GPS), а также информацию об ориентации сенсорных устройств при регистрации данных (например, посредством внутреннего электронного компаса, инерциального измерительного блока или индикации угла поворота руки робота), так что возможна привязка идентифицированных объектов из распознавания изображения (этап 320) к определенному несущему ролику 13 ленточной конвейерной установки 1. Чтобы обеспечить точную привязку, здесь был выбран GPS-модуль, который обеспечивает определение положения на основе дифференциального GPS с разрешением в сантиметровом диапазоне. В качестве альтернативы положение может быть определено также оптически посредством сравнения изображений. При этом актуальный (двухмерный) фотоснимок (сделанный моноскопической камерой) или облако точек (3D-облако точек, созданное стереоскопической камерой, подвижной моноскопической камерой, сканирующим лазером, лидаром, радаром и т.п.) сравнивается с локально известными двухмерными фотоснимками или геореференцированным облаком точек. Кроме того, возможно также определение положения в близких радиополях, например посредством RFID-транспондеров, которые расположены на станциях соответствующих несущих роликов 13 и считываются соответствующим считывающим устройством в транспортном средстве 2. Определение положения основанными на радио способами происходит при этом в момент времени регистрации данных изображения, а сравнение данных изображения на основе зарегистрированных данных изображения может осуществляться также в более поздний момент времени. В данном случае определение положения посредством GPS происходит одновременно на этапе 100 и/или 200, так что информация о месте сохраняется вместе с данными изображения и данными об ориентации, а привязка к конкретным несущим роликам 13 происходит тогда после автоматического распознавания областей данных изображения (этап 320).
На этапе 410 для каждого выявленного и созданного положения области распознаваемого изображения несущего ролика 13 из данных изображения автоматически устанавливается соответственно положение области анализируемого изображения несущего ролика 13 в данных теплового изображения, которое пространственно корреспондирует с соответствующим положение области распознаваемого изображения из данных изображения. При последующем автоматическом анализе данных теплового изображения (этап 400) только для данных теплового изображения в положениях области анализируемого изображения определяются соответствующие температурные данные несущих роликов 13 и подвергаются анализу (термическому анализу), чтобы затем привязать к несущим роликам 13 и их опорам соответствующее функциональное состояние (состояние износа). Поскольку тепловизионное сенсорное устройство 21 и фотосенсорное устройство 22 отстоят на небольшое расстояние друг от друга, по отношению к транспортному средству 2 жестко ориентированы в одном и том же направлении, и оба сенсорных устройства регистрируют данные изображения приблизительно одновременно, информация из описанного выше детектирования объекта в фотоданных (этап 300) переносится на данные теплового изображения (вследствие известного сдвига между обоими сенсорными устройствами рассчитывается сдвиг). Если объект был распознан и обозначен в фотоданных как несущий ролик 13, то на этапе 410 прямоугольная рамка выбора, заключающая в фотоданных несущий ролик 13, устанавливается в данных теплового изображения как положение области анализируемого изображения и потому маркируется также в тепловом изображении. Последующий термический анализ ограничивается тогда данными теплового изображения в пределах этой выбранной области анализируемого изображения.
На этапе 400 в установленном положении области анализируемого изображения несущего ролика 13 автоматически анализируются выбранные данные теплового изображения. Для этого сначала в установленных положениях области анализируемого изображения из данных теплового изображения автоматически определяются температурные данные соответствующего несущего ролика 13 (этап 420). Выявленные в области анализируемого изображения температурные данные автоматически привязываются затем к функциональному состоянию соответствующих несущих роликов 13 (этап 430). Этап 400 включает в себя, следовательно, автоматическое определение температурных данных (этап 420) и автоматическую привязку температурных данных в функциональному состоянию (этап 430), но не автоматическое установление положения области анализируемого изображения (этап 410 – однако было бы возможным осуществление способа, при котором автоматическое установление положения области анализируемого изображения является частью автоматического анализа данных теплового изображения).
На этапе 420 в каждом установленном положении области анализируемого изображения автоматически анализируются данные теплового изображения. Для этого на этом этапе сначала в установленных положениях области анализируемого изображения автоматически выбираются данные теплового изображения, являющиеся данными теплового изображения несущих роликов 13. Затем выбранные таким образом тепловые данные автоматически анализируются в установленных положениях области анализируемого изображения.
Чтобы гарантировать проведение термического анализа на несущем ролике 13 и его опорах, а не на других объектах, например конвейерной ленте 11 или на стальных кабелях, которые также могут находиться в установленной в качестве области анализируемого изображения прямоугольной рамке выбора, в пределах положения области анализируемого изображения двумя разными способами выбора определяются подобласти. За счет этого можно поддерживать область объекта для последующего собственно анализа данных как можно меньшей. Для этого в пределах установленных положений области анализируемого изображения автоматически выбираются участки данных теплового изображения, где данные теплового изображения расположены круговыми или близкими к круговым контурами. Дополнительно в пределах установленных положений области анализируемого изображения автоматически выбираются участки данных теплового изображения, где данные теплового изображения соответствуют температурам того же температурного уровня. Поэтому в первом способе выбора рамка выбора исследуется на круговые контуры. Область для исследования опоры несущего ролика 13 определяется тогда как средний из всех круговых контуров, которые, следовательно, отбираются. Во втором способе выбора на основе распределения температуры в рамке выбора отбираются несколько областей с одинаковым температурным уровнем (термин «температурный уровень» включает в себя определенный температурный диапазон, ширина которого выбирается в соответствии с конкретными условиями эксплуатации ленточной конвейерной установки 1). Для комбинации обоих способов выбора в пределах каждого положения области анализируемого изображения положения участков, отобранных в первом способе выбора, сравниваются с положениями участков, отобранных во втором способе выбора. Участок, данные теплового изображения которого подвергаются последующему собственно термическому анализу, возникает в качестве общего пересечения множеств (площадь сечения) участков, отобранных в обоих способах выбора. Комбинация обоих способов выбора обеспечивает особенно высокую надежность того, что автоматически выбранные данные теплового изображения являются действительно репрезентативными для несущих роликов 13 и их опор. Дополнительно качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов 13, в частности при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам такого же температурного уровня, улучшается с помощью осуществляемого посредством искусственной нейросети метода обучения, а именно посредством многоступенчатой сверточной нейросети (CNN), содержащей два CNN-модуля.
На этапе 430 выявленные из положения области анализируемого изображения температурные данные автоматически привязываются к функциональному состоянию несущего ролика 13 за счет того, что выявленные температурные данные соответствующего несущего ролика 13 либо автоматически классифицируются как функциональное состояние из большого числа предварительно установленных функциональных состояний, либо автоматически привязываются к функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа. При этом дополнительно качество распознавания при автоматическом определении функционального состояния несущих роликов 13, в частности классификация данных теплового изображения, улучшается с помощью метода обучения, осуществляемого посредством искусственной нейросети. При этом в выбранных областях выделяются характеристические признаки температуры, например максимальная температура, минимальная температура, среднее значение температуры, медиана температуры, а также характеристические признаки распределения температуры (например, его ширина, симметрия или возможные «горячие точки»). Автоматическая привязка к функциональному состоянию на этапе 430 происходит посредством многовариантного алгоритма кластеризации, посредством которого совокупность характеристических признаков каждого несущего ролика 13 и его опор привязывается соответственно к одному из нескольких состояний износа. В данном случае – это привязка к: «требуется замена», «замена требуется в скором времени», «замена еще не предвидится». Этот алгоритм кластеризации непрерывно тренируется, для чего в качестве тренировочных данных вводится соответственно верифицированная информация о фактическом функциональном состоянии несущих роликов 13, как ее получают, например, после ручного контроля в рамках инспекции или обслуживания для верификации функционального состояния.
Регистрация данных изображения и их анализ, т.е. способ машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации (этапы 100-400), проводится в равные промежутки времени. При этом для каждого несущего ролика 13 в хранилище данных о функциональных состояниях, в частности в базу данных о функциональных состояниях (не показано), записываются функциональное состояние, данные изображения и выявленные температурные данные. В этом хранилище данных о функциональных состояниях каждый несущий ролик 13 ленточной конвейерной установки 1 регистрируется в его точном GPS-положении и с соответствующей спецификацией; она включает в себя, например, для несущего ролика 13 его размер, материал, изготовителя, типовой номер, дату монтажа и т.п. Для каждого несущего ролика 13 в каждом цикле распознавания сохраняются также пути хранения соответствующих данных изображения (в виде исходных данных и обработанных данных после обработки), а также результаты анализа со штампом времени. Сохраненные результаты анализа включают в себя, помимо положения (несущий ролик 13 и его опоры) и температурных данных, таких как максимальная температура, минимальная температура, среднее значение температуры, медиана температуры и распределение температуры, также выявленные функциональные состояния (в виде классов состояния износа). Кроме того, для каждого несущего ролика 13 может сохраняться также дополнительная информация, такая как предельные значения температуры (например, 80°С для предстоящей в обозримом времени замены и 90°С для непосредственно требуемой замены), предстоящие процессы обслуживания и т.п.
Через интерактивный коммуникационный интерфейс (локальный пользовательский интерфейс, например локально установленные компьютерные программы или мобильные или на веб-основе прикладные программы или приложения) можно получить доступ к данным, сохраненным в хранилище данных о функциональных состояниях, и запросить эти данные, например, чтобы визуализировать соответствующую информацию. Таким образом, в частности, также сервисные специалисты или техники могут отображать для себя отметки и перечни всех требующих обслуживания несущих роликов 13 и их GPS-положение или во время инспекции и обслуживания несущих роликов 13 интерактивно добавлять в целях документирования соответствующие фото и комментарии, например ручную оценку состояния износа или перечень конкретно выполненных работ по обслуживанию и действий по замене. Эта информация сохраняется затем со штампом времени в базе данных и может использоваться, чтобы улучшить качество классификации в рамках процесса машинного обучения. Далее с помощью хранилища данных о функциональных состояниях можно отображать также точные положения несущих роликов 13 на карте, основанной на имеющемся в распоряжении карточном материале, спутниковых снимках или трехмерной цифровой модели ленточной конвейерной установки 1. При этом пользователь может интерактивно выбрать на карте отдельные несущие ролики 13, чтобы увидеть дополнительную информацию о них. Дополнительно на обзорной диаграмме могут быть представлены актуальные функциональные состояния/состояния износа, а также выбранные температурные признаки всех несущих роликов 13. Данные о несущих роликах 13 могут запрашиваться также в виде перечня, причем также в этом представлении могут интерактивно выбираться индивидуальные несущие ролики 13, может считываться информация о них, и могут сохраняться комментарии по отдельным несущим роликам 13, причем могут быть представлены температурный профиль соответствующего несущего ролика 13 или данные его теплового изображения, и могут быть отображены фотоданные, а также временнáя характеристика исторических значений, включая все изменения.
Изображенный на фиг. 3 способ идентификации функционально-нарушенных несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации включает в себя дополнительно к вышеописанному способу машинного определения функционального состояния несущих роликов 13 также выявление несущих роликов 13 с нарушенной функцией посредством сравнения функционального состояния и температурных данных с историческими данными из базы данных о функциональных состояниях (этап 500). На основе этого сравнения определяется момент времени замены соответствующего несущего ролика 13 (этап 600). В связи с таким профилактическим обслуживанием можно, следовательно, описанным способом при повторном проведении инспекционных мероприятий в короткие интервалы без дополнительных затрат на персонал контролировать функциональные состояния всех несущих роликов 13 и заранее идентифицировать критические несущие ролики 13. Кроме того, временнóе развитие тепловых признаков можно анализировать посредством экстраполяции или регрессионного анализа (этап 500), так что может быть дан прогноз предполагаемого оставшегося срока службы несущего ролика 13 и рекомендован оптимальный момент времени для проведения работ по обслуживанию (этап 600). Выявленные для соответствующих несущих роликов 13 моменты времени подаются на коммуникационный интерфейс, например в виде отображения на экране дисплея, в виде автоматически составленной календарной записи в программу администрирования сроков, в виде автономного заказа несущих роликов или расходного материала у изготовителя или продавца или – в случае обязательно требующейся срочной замены – также в виде предупредительного сигнала, при необходимости, связанного с вмешательством посредством техники регулирования для остановки ленточной конвейерной установки 1, чтобы избежать возможного косвенного ущерба, который может возникнуть, например, у конвейерной ленты 11.
Вышеописанный способ машинного определения функционального состояния несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации и, в частности, также вышеописанный способ идентификации поврежденных несущих роликов 13 ленточной конвейерной установки 1 во время ее эксплуатации реализованы соответственно в виде компьютерной программы. Эта компьютерная программа записана на машиночитаемом носителе данных (носителе данных, считываемом компьютером, машиночитаемой среде хранения данных/среде, считываемой компьютером среде хранения данных).
Перечень ссылочных позиций
1 – ленточная конвейерная установка
11 – конвейерная лента
12 – поворотный валик
13 – несущий ролик
2 – беспилотное транспортное средство
21 – тепловизионное сенсорное устройство
22 – фотосенсорное устройство
23 – устройство определения положения
24 – модуль передачи данных
3 – устройство обработки данных
31 – модуль определения области изображения
32 – модуль распознавания области изображения
33 – интерфейсный модуль
34 – модуль установления области изображения
35 – модуль определения состояния
36 – модуль анализа
37 – модуль привязки
38 – модуль передачи данных
100 – регистрация фотоданных
200 – регистрация данных теплового изображения
300 – автоматическое определение по меньшей мере одного положения области распознаваемого изображения
310 – улучшение качества автоматического распознавания
320 – автоматическое распознавание областей данных изображения
330 – автоматическая подготовка распознанных областей данных изображения в виде положения области распознаваемого изображения
400 – автоматический анализ данных теплового изображения
410 – автоматическое установление положения области анализируемого изображения
420 – автоматическое определение температурных данных
430 – автоматическая привязка к функциональному состоянию
500 – сравнение с историческими данными из базы данных о функциональных состояниях
600 – определения момента времени замены.
Предусмотрено беспилотное транспортное средство с системой датчиков изображения, посредством которой ленточная конвейерная установка контролируется сенсорно в виде зарегистрированных данных теплового изображения. По зарегистрированным данным изображения ленточной конвейерной установки автоматически определяется положение области распознаваемого изображения, в котором отображен участок несущего ролика. Для выявленного положения области распознаваемого изображения из данных изображения в данных теплового изображения устанавливается соответственно положение области анализируемого изображения. В каждом положении области анализируемого изображения автоматически анализируются данные теплового изображения, чтобы автоматически определить функциональное состояние несущих роликов. Данные изображения также содержат данные фотоизображения помимо данных теплового изображения, которые регистрируются как данные фотоизображения. Зарегистрированные данные изображения ленточной конвейерной системы, в которых автоматически определяется положение области распознаваемого изображения, являются данными фотоизображения. Области данных фотоизображения автоматически выявляются в качестве областей данных изображения, и положение каждой выявленной области данных фотоизображения автоматически создается как положение области распознаваемого изображения. Определяется функциональное состояние несущих роликов. 3 н. и 12 з.п. ф-лы, 3 ил.
1. Способ машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, включающий обеспечение наличия по меньшей мере одного беспилотного транспортного средства (2), содержащего по меньшей мере одну систему датчиков изображения, посредством которой контролируют по меньшей мере одну секцию ленточной конвейерной установки в виде данных изображения, причем данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) регистрируют как данные теплового изображения, при этом в зарегистрированных данных изображения ленточной конвейерной установки (1) автоматически определяют по меньшей мере одно положение области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика (13), для каждого выявленного положения области распознаваемого изображения из данных изображения в данных теплового изображения автоматически устанавливают положение области анализируемого изображения и в каждом установленном положении области анализируемого изображения автоматически анализируют данные теплового изображения, чтобы определить функциональное состояние несущих роликов (13),
отличающийся тем, что
данные изображения, регистрируемые системой датчиков изображения, помимо данных теплового изображения, содержат также данные фотоизображения, при этом данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) также регистрируют в виде данных фотоизображения,
указанные зарегистрированные данные изображения ленточной конвейерной установки (1), в которых автоматически определяют по меньшей мере одно положение области распознаваемого изображения, являются данными фотоизображения, в которых в качестве областей данных изображения автоматически распознают области данных фотоизображения, и автоматически создают положение каждой распознанной области данных фотоизображения в качестве указанного положения области распознаваемого изображения.
2. Способ по п. 1, в котором данные изображения по меньшей мере одного участка ленточной конвейерной установки (1) регистрируют в виде данных теплового изображения за счет того, что указанное по меньшей мере одно беспилотное транспортное средство (2), содержащее по меньшей мере одну систему датчиков изображения, включающую в себя по меньшей мере одно сенсорное устройство (21) теплового изображения для регистрации данных теплового изображения и по меньшей мере одно сенсорное устройство (22) фотоизображения для регистрации данных фотоизображения, перемещают вдоль по меньшей мере одного участка ленточной конвейерной установки (1), с помощью системы датчиков изображения регистрируют данные изображения по меньшей мере одного участка ленточной конвейерной установки (1), причем данные изображения включают в себя по меньшей мере данные теплового изображения и данные фотоизображения,
в зарегистрированных данных фотоизображения ленточной конвейерной установки (1) автоматически определяют указанное по меньшей мере одно положение области распознаваемого изображения посредством автоматического распознавания областей данных фотоизображения в зарегистрированных данных фотоизображения по меньшей мере одного участка ленточной конвейерной установки (1), в которых отображены области по меньшей мере одного участка несущего ролика (13), и автоматически создают положение соответственно распознанной области данных фотоизображения в виде положения области распознаваемого изображения соответствующего несущего ролика (13),
для каждого выявленного положения области распознаваемого изображения из данных фотоизображения автоматически устанавливают положение области анализируемого изображения в данных теплового изображения за счет того, что для каждого выявленного положения области распознаваемого изображения несущего ролика (13) из данных фотоизображения автоматически устанавливают положение области анализируемого изображения несущего ролика (13) в данных изображения, положение, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных фотоизображения, за счет того, что автоматически анализируют данные теплового изображения в каждом установленном положении области анализируемого изображения посредством автоматического определения температурных данных соответствующего несущего ролика (13) из данных теплового изображения в выявленном положении области анализируемого изображения несущего ролика (13), и автоматически привязывают температурные данные, определенные из положения области анализируемого изображения, к функциональному состоянию соответствующих несущих роликов (13).
3. Способ по п. 1 или 2, в котором в зарегистрированных данных фотоизображения ленточной конвейерной установки (1) автоматически определяют указанное по меньшей мере одно положение области распознаваемого изображения за счет того, что в данных фотоизображения автоматически распознают области данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект, в распознанных, таким образом, областях данных фотоизображения среди распознаваемых объектов автоматически распознают несущие ролики (13) или участки несущих роликов (13) и для каждого распознанного несущего ролика (13), а также для каждого распознанного участка несущего ролика (13) в качестве положения области распознаваемого изображения создают положение области данных фотоизображения, в которой отображен несущий ролик (13) или участок несущего ролика (13).
4. Способ по любому из пп. 1-3, в котором качество распознавания при автоматическом определении положения области распознаваемого изображения в зарегистрированных данных фотоизображения, в частности качество автоматического распознавания областей данных фотоизображения, в которых отображен по меньшей мере один распознаваемый объект, в частности, по меньшей мере один участок несущего ролика, и/или качество автоматического распознавания несущих роликов(13) или участков несущих роликов (13) в распознанных областях данных фотоизображения повышают с помощью метода обучения, осуществляемого посредством искусственной нейросети, в частности посредством одно- или многоступенчатой сверточной нейросети.
5. Способ по любому из пп. 1-4, в котором в каждом установленном положении области анализируемого изображения автоматически анализируют данные теплового изображения за счет того, что в установленных положениях области анализируемого изображения автоматически выбирают данные теплового изображения, являющиеся данными теплового изображения несущих роликов (13), и в установленных положениях области анализируемого изображения автоматически анализируют выбранные данные теплового изображения.
6. Способ по п. 5, в котором автоматически выбирают данные теплового изображения, лежащие на таких участках в пределах установленных положений области анализируемого изображения, в которых данные теплового изображения расположены круговыми или близкими к круговым контурами и/или в которых данные теплового изображения соответствуют температурам того же одинакового температурного уровня.
7. Способ по п. 5 или 6, в котором качество распознавания при автоматическом выборе данных теплового изображения, являющихся данными теплового изображения несущих роликов (13), улучшают с помощью осуществляемого посредством искусственной нейросети метода обучения, в частности качество распознавания при автоматическом выборе данных теплового изображения, лежащих на таких участках в пределах установленных положений области анализируемого изображения, на которых данные теплового изображения расположены круговыми или близкими к круговым контурами, и/или на которых данные теплового изображения соответствуют температурам одинакового температурного уровня.
8. Способ по любому из пп. 1-7, в котором данные изображения ленточной конвейерной установки (1) привязывают соответственно к положению в ленточной конвейерной установке (1) и/или для установленных положений области анализируемого изображения данные теплового изображения или оценочная информация привязываются к индивидуальному несущему ролику (13) ленточной конвейерной установки (1), причем привязку осуществляют посредством определения положения на основе радиосвязи, сравнения зарегистрированных данных изображения с данными сравнительного изображения, регистрации пройденного беспилотным транспортным средством (2) пути и/или регистрации ориентации системы датчиков изображения.
9. Способ по п. 2 или любому из пп. 3-9, подчиненных п. 2, в котором выявленные из положения области анализируемого изображения температурные данные автоматически привязывают к функциональному состоянию несущего ролика (13) за счет того, что выявленные температурные данные соответствующего несущего ролика (13) автоматически классифицируют как одно функциональное состояние из большого числа заранее установленных функциональных состояний или автоматически привязывают указанные данные к функциональному состоянию в рамках кластерного анализа, в частности в рамках многовариантного кластерного анализа.
10. Способ по любому из пп. 1-9, в котором качество распознавания при автоматическом определении функционального состояния несущих роликов (13), в частности классификацию данных теплового изображения, улучшают с помощью осуществляемого посредством искусственной нейросети метода обучения.
11. Способ по любому из пп. 1-10, в котором для соответствующего несущего ролика (13) функциональное состояние, данные изображения и/или, при необходимости, выявленные температурные данные записывают в хранилище данных о функциональных состояниях.
12. Способ идентификации поврежденных несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, включающий в себя способ машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) по любому из пп. 1-11, причем поврежденные несущие ролики (13) распознают с помощью сравнения с историческими данными из базы данных о функциональных состояниях, определяют момент времени замены соответствующего несущего ролика (13) и для этого несущего ролика (13) установленный момент времени выводят на коммуникационный интерфейс.
13. Устройство для машинного определения функционального состояния несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, содержащее по меньшей мере одно беспилотное транспортное средство (2) с по меньшей мере одной системой датчиков изображения, выполненное с возможностью движения вдоль по меньшей мере одного участка ленточной конвейерной установки (1), благодаря чему возможно фиксирование по меньшей мере части секций ленточной конвейерной установки (1) датчиками указанной системы датчиков в виде данных изображения, причем система датчиков содержит по меньшей мере одно тепловизионное сенсорное устройство (21) для регистрации данных изображения в виде данных теплового изображения,
устройство (3) обработки данных для оценки зарегистрированных данных изображения, чтобы определить функциональное состояние несущих роликов (13) ленточной конвейерной установки (1) во время ее эксплуатации, причем устройство (3) обработки данных содержит модуль (31) определения области изображения, выполненный с возможностью автоматического определения в зарегистрированных данных изображения по меньшей мере одного положения области распознаваемого изображения, в котором отображен по меньшей мере один участок несущего ролика (13), модуль (34) установления области изображения, выполненный с возможностью автоматического установления положения области анализируемого изображения в данных теплового изображения для выявленного из данных изображения положения области распознаваемого изображения, и модуль (35) определения состояния, выполненный с возможностью автоматического анализа данных теплового изображения в установленном положении области анализируемого изображения, чтобы автоматически определить функциональное состояние несущих роликов (13),
отличающееся тем, что
система датчиков изображения выполнена таким образом, что регистрируемые данные изображения помимо данных теплового изображения также содержат данные фотоизображения, при этом указанная по меньшей мере одна система датчиков изображения помимо тепловизионного сенсорного устройства также содержит сенсорное устройство (22) фотоизображения для регистрации данных изображения по меньшей мере одного участка ленточной конвейерной установки (1) в виде данных фотоизображения,
при этом модуль (31) определения области изображения выполнен с возможностью использования данных фотоизображения в качестве данных изображения ленточной конвейерной установки (1), в которых автоматически определяется по меньшей мере одно положение области распознаваемого изображения, при этом в качестве областей данных изображения автоматически определяются области данных фотоизображения из указанных данных фотоизображения,
и положение каждой выявленной области данных фотоизображения автоматически создается в качестве положения области распознаваемого изображения.
14. Устройство по п. 13, в котором модуль (31) определения области изображения содержит модуль (32) распознавания области изображения и интерфейсный модуль (33), из которых модуль (32) распознавания области изображения выполнен с возможностью автоматического распознавания в зарегистрированных данных фотоизображения областей данных фотоизображения, в которых отображен по меньшей мере один участок несущего ролика (13), а интерфейсный модуль (33) выполнен с возможностью автоматического установления положения распознанной области данных фотоизображения в качестве положения области распознаваемого изображения соответствующего несущего ролика (13),
причем модуль (34) установления области изображения выполнен с возможностью автоматического установления, для каждого положения области распознаваемого изображения несущего ролика (13), выявленного из данных фотоизображения, положения области анализируемого изображения несущего ролика (13) в данных теплового изображения, которое пространственно корреспондирует с соответствующим положением области распознаваемого изображения из данных фотоизображения,
и модуль (35) определения состояния содержит модуль (36) анализа и модуль (37) привязки, из которых модуль (36) анализа выполнен с возможностью автоматического определения температурных данных соответствующего несущего ролика (13) в установленном положении области анализируемого изображения несущего ролика (13) из данных теплового изображения, а модуль (37) привязки выполнен с возможностью автоматической привязки температурных данных, установленных из положения области анализируемого изображения, к функциональному состоянию соответствующих несущих роликов (13).
15. Устройство по п. 14, в котором устройство (3) обработки данных содержит по меньшей мере одну обучаемую искусственную нейросеть, посредством которой происходит по меньшей мере одно из следующих распознаваний: распознавание несущих роликов (13) или участков несущих роликов (13) для автоматического определения областей данных фотоизображения в зарегистрированных данных фотоизображения, в которых отображен по меньшей мере один участок несущего ролика (13); распознавание данных теплового изображения несущего ролика (13) для автоматического определения температурных данных несущего ролика (13) в установленном положении области анализируемого изображения несущего ролика (13); распознавание функциональных состояний несущего ролика (13) из его установленных температурных данных несущего ролика (13) для автоматической привязки к функциональному состоянию несущих роликов (13).
| CARVALHO REGIVALDO et al., "A UAV-Based Framework for Semi-Automated Thermographic Inspection of Belt Conveyors in the Mining Industry", 15 April 2020 (2020-04-15), Vol | |||
| Прибор для промывания газов | 1922 |
|
SU20A1 |
| Топка с несколькими решетками для твердого топлива | 1918 |
|
SU8A1 |
| Найдено в Интернет, 18.11.2022: URL:https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7218908/pdf/sensors-20-02243.pdf | |||
| YANG WENJUAN et | |||
