СПОСОБ И УСТРОЙСТВО ДЛЯ УПРАВЛЕНИЯ ПРОХОДЧЕСКИМ КОМБАЙНОМ НА ОСНОВЕ БИНОКУЛЯРНОГО ЗРЕНИЯ Российский патент 2023 года по МПК E21D9/10 G06T7/10 G06T7/20 

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННУЮ ЗАЯВКУ

[0001] Настоящая заявка испрашивает приоритет по заявке на патент Китая №202210502665.7, поданной 10 мая 2022 и поименованной "Способ и устройство для идентификации забоя и контроля забоя на основе бинокулярного зрения для проходческого комбайна", все содержание которой посредством ссылки полностью включено в настоящий документ.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящая заявка относится к области проходческих комбайнов и, в частности, относится к способу и устройству для управления проходческим комбайном на основе бинокулярного зрения.

УРОВЕНЬ ТЕХНИКИ

[0003] В настоящее время забой интеллектуального проходческого комбайна может иметь проблемы, такие как неровные поверхности вырубки, плохое оконтуривание и значительные скопления материала с обеих сторон, что затрудняет процесс автоматической вырубки проходческого комбайна. В таком случае проходческий комбайн должен перемещаться в целевую область для ее обработки. Например, во время автоматической вырубки интеллектуальным проходческим комбайном возможен случай, когда некоторые из сброшенных материалов не могут быть собраны щеточным устройством у основания проходческого комбайна. Поскольку вырубка продолжается, определенная область укладки материала будет образована с обеих сторон забоя, что препятствует перемещению вырубной насадки и продвижению проходческого комбайна, вследствие чего приходится собирать эти материалы вручную, что снижает скорость автоматической работы и эффективность проходческого комбайна.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[0004] В настоящем документе предложен способ и устройство для управления проходческим комбайном на основе бинокулярного зрения, который может осуществлять идентификацию и позиционирование области поверхности вырубки и области укладки материала, расположенных в туннеле, посредством технологии бинокулярного зрения и затем направлять проходческий комбайн для его перемещения в область поверхности вырубки и/или область укладки материала, таким образом завершая вырубку области поверхности вырубки и/или сбора материала в области укладки материала проходческим комбайном.

[0005] В первом аспекте предложен способ управления проходческим комбайном на основе бинокулярного зрения, включающий:

[0006] получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле;

[0007] определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей этой целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала;

[0008] направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

[0009] управление проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

[0010] управление проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0011] Кроме того, информация о состоянии включает в себя информацию о степени образования кромок, информацию о степени выравнивания и информацию о первой позиции области поверхности вырубки, а также информацию о высоте и информацию о второй позиции области укладки материала, при этом получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле включает:

[0012] получение информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле;

[0013] отделение области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя;

[0014] определение информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции области поверхности вырубки согласно данным облака точек в области поверхности вырубки;

[0015] определение информации о высоте и информации о второй позиции области укладки материала согласно данным облака точек в области укладки материала;

[0016] определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей этой целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, включает:

[0017] определение целевой задачи, которая подлежит выполнению проходческим комбайном, согласно информации о степени образования кромок, информации о степени выравнивания области поверхности вырубки и информации о высоте области укладки материала; при этом целевая задача содержит по меньшей мере одну из задачи вырубки для области поверхности вырубки и задачи сбора материала для области укладки материала; и

[0018] определение целевой позиции согласно информации о первой позиции и/или информации о второй позиции, соответствующих целевой задаче.

[0019] Кроме того, получение информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле включает:

[0020] получение плотной параллаксной карты забоя согласно изображениям бинокулярного зрения в туннеле;

[0021] вычисление пространственных координат каждых данных облака точек на плотной параллаксной карте для получения информации об облаке точек забоя на плотной параллаксной карте;

[0022] отделение области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя, включающее:

[0023] вычисление, выполняемое согласно информации об облаке точек забоя на плотной параллаксной карте, пространственной плоскости, соответствующей информации об облаке точек в области поверхности вырубки, и определение данных облака точек, соответствующих области поверхности вырубки;

[0024] использование в качестве исходного точечного множества указанных данных облака точек, расстояние которых от пространственной плоскости, соответствующей области поверхности вырубки, меньше порогового значения;

[0025] проецирование данных облака точек в пределах исходного точечного множества на пространственную плоскость, соответствующую области поверхности вырубки, для получения карты глубин;

[0026] обучение модели семантической сегментации на основании данных меток карты, собранных на карте глубин; и

[0027] отделение области поверхности вырубки от области укладки материала на карте глубин на основании модели семантической сегментации.

[0028] Кроме того, определение информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции области поверхности вырубки согласно данным облака точек в области поверхности вырубки включает:

[0029] проецирование данных облака точек, соответствующих области поверхности вырубки, на систему фактических физических координат для получения данных облака фактических пространственных точек в области поверхности вырубки;

[0030] получение информации о первой позиции, соответствующей области поверхности вырубки, согласно данным облака фактических пространственных точек в области поверхности вырубки;

[0031] определение информации о высоте и информации о второй позиции в области укладки материала согласно данным облака точек в области укладки материала, включающее:

[0032] проецирование данных облака точек, соответствующих области укладки материала, на систему фактических физических координат для получения данных облака фактических пространственных точек в области укладки материала и

[0033] получение информации о второй позиции, соответствующей области укладки материала, согласно данным облака фактических пространственных точек в области укладки материала.

[0034] Кроме того, направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для перемещения из исходной позиции в целевую позицию включает:

[0035] получение данных облака точек в режиме реального времени в области поверхности вырубки посредством бинокулярных камер, прикрепленных с обеих сторон проходческого комбайна; и

[0036] вычисление относительной позиции между проходческим комбайном и областью поверхности вырубки согласно данным облака точек в режиме реального времени в области укладки материала для достижения отслеживания перемещения проходческого комбайна.

[0037] Кроме того, направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения включает:

[0038] получение области корпуса и исходного угла поворота проходческого комбайна, при этом областью корпуса является область покрытия корпуса проходческого комбайна;

[0039] задание виртуальной области, которая перемещается с проходческим комбайном, согласно области корпуса проходческого комбайна;

[0040] направление проходческого комбайна для его перемещения прямо в направлении исходного угла поворота согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения и направление проходческого комбайна, когда виртуальная область касается боковой стенки, для его перемещения вращением до тех пор, пока проходческий комбайн не переместится в целевую позицию;

[0041] картрирование в режиме реального времени траектории перемещения проходческого комбайна из исходной позиции в целевую позицию согласно прямой траектории, вдоль которой проходческий комбайн направляют для его перемещения прямо в направлении исходного угла поворота, и траектории вращения, вдоль которой проходческий комбайн перемещается вращением; и

[0042] картрирование в режиме реального времени картографических данных об окружающей среде проходческого комбайна во время его перемещения из исходной позиции в целевую позицию согласно бинокулярным изображениям проходческого комбайна во время его перемещения, полученным посредством бинокулярного зрения.

[0043] Кроме того, направление проходческого комбайна для его перемещения прямо в направлении исходного угла поворота и направление проходческого комбайна, когда виртуальная область касается боковой стенки, для его перемещения вращением согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения до тех пор, пока проходческий комбайн не переместится в целевую позицию, в которой расположена область укладки материала, включает:

[0044] предварительное определение количества точек поворота в траектории перемещения проходческого комбайна из исходной позиции в целевую позицию; и

[0045] определение угла поворота, который направляет одно вращательное перемещение проходческого комбайна, согласно исходному углу поворота и количеству точек поворота в траектории при условии, что виртуальная область касается боковой стенки.

[0046] Во втором аспекте предложено устройство для управления проходческим комбайном на основе бинокулярного зрения, содержащее:

[0047] модуль получения информации о состоянии для получения информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле;

[0048] модуль определения целевой задачи для определения целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала;

[0049] навигационный модуль для направления проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для перемещения из исходной позиции в целевую позицию и картрирования картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

[0050] первый модуль управления для управления проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

[0051] второй модуль управления для управления проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0052] В третьем аспекте предложено вычислительное устройство, содержащее запоминающее устройство, процессор и компьютерную программу, хранящуюся в запоминающем устройстве и исполняемую процессором, при этом когда процессор исполняет данную компьютерную программу, осуществляются этапы упомянутого выше способа управления проходческим комбайном на основе бинокулярного зрения.

[0053] В четвертом аспекте предложен компьютерочитаемый носитель для хранения, в котором хранится компьютерная программа, при этом когда данная компьютерная программа исполняется процессором, осуществляются этапы упомянутого выше способа управления проходческим комбайном на основе бинокулярного зрения.

[0054] В решениях, реализованных описанным выше способом и посредством устройства для управления проходческим комбайном на основе бинокулярного зрения, а также вычислительного устройства и носителя для хранения, информация о состоянии, соответствующая области поверхности вырубки, и информация о состоянии, соответствующая области укладки материала, определяются посредством технологии бинокулярного зрения, затем целевая задача, которая подлежит выполнению проходческим комбайном, и целевая позиция, соответствующая целевой задаче, определяются согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, затем проходческий комбайн направляют из исходной позиции в целевую позицию, соответствующую области поверхности вырубки или области укладки материала, при отслеживании посредством бинокулярного зрения, и таким образом достигаются идентификация и позиционирование целевой задачи, соответствующей области поверхности вырубки или области укладки материала, расположенных в туннеле, посредством технологии бинокулярного зрения, затем проходческий комбайн направляют для его перемещения в целевую позицию, так что проходческий комбайн выполняет целевую задачу, а после того, как целевая задача будет завершена, проходческим комбайном управляют согласно картографическим данным об окружающей среде проходческого комбайна для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0055] Для того, чтобы более четко проиллюстрировать технические решения вариантов реализации настоящего изобретения, ниже будет приведено краткое описание сопроводительных чертежей, необходимых для использования в описании вариантов реализации настоящего изобретения. Очевидно, что чертежи в последующем описании являются лишь некоторыми из вариантов реализации настоящего изобретения, и специалистом в данной области техники могут быть получены другие чертежи в соответствии с этими сопроводительными чертежами без творческой работы.

[0056] На ФИГ. 1 представлена блок-схема способа управления проходческим комбайна на основе бинокулярного зрения в одном варианте реализации настоящего изобретения;

[0057] На ФИГ. 2 представлена блок-схема конкретного варианта реализации этапа S101 по ФИГ. 1;

[0058] На ФИГ. 3 представлена блок-схема конкретного варианта реализации этапа S1012 по ФИГ. 2;

[0059] На ФИГ. 4 представлена блок-схема конкретного варианта реализации этапа S103 по ФИГ. 1;

[0060] На ФИГ. 5 представлена принципиальная схема проходческого комбайна, перемещающегося из исходной позиции в целевую позицию в области укладки материала;

[0061] На ФИГ. 6 представлена принципиальная структурная схема устройства для управления проходческим комбайном на основе бинокулярного зрения в одном варианте реализации настоящего изобретения;

[0062] На ФИГ. 7 представлена принципиальная структурная схема вычислительного устройства в одном варианте реализации настоящего изобретения; и

[0063] На ФИГ. 8 представлена еще одна принципиальная структурная схема вычислительного устройства в одном варианте реализации настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0064] Технические решения в вариантах реализации настоящей заявки будут явно и полностью описаны ниже в соединении с сопроводительными чертежами в вариантах реализации настоящей заявки. Очевидно, что описанные варианты реализации являются частью вариантов реализации настоящей заявки, а не всех вариантов реализации. На основании вариантов реализации в настоящей заявке все другие варианты реализации, полученные специалистом в данной области техники из уровня техники без творческой работы, будут находиться в пределах объема охраны настоящей заявки.

[0065] В одном варианте реализации настоящей заявки обеспечен способ управления проходческим комбайном на основании бинокулярного зрения, как показано на ФИГ. 1, включающий следующие этапы.

[0066] На этапе S101 получают информацию о состоянии, соответствующую области поверхности вырубки, и информацию о состоянии, соответствующую области укладки материала, согласно изображениям бинокулярного зрения в туннеле.

[0067] В настоящее время навигационные средства для позиционирования существующих проходческих комбайнов в основном зависят от внешних калибровочных таблиц или лазерного радара, что связано с большими затратами и высокими требованиями к калибровке. Кроме того, известные проходческие комбайны еще не имеют эффективной технологии для идентификации области поверхности вырубки в туннеле и области укладки материала. Ввиду этого, в настоящем документе путем идентификации туннеля с помощью технологии бинокулярного зрения и получения информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, могут быть реализованы идентификация и позиционирование области поверхности вырубки и области укладки материала в туннеле, и в то же время за счет инерциального навигационного объединенного позиционирования проходческого комбайна с использованием технологии бинокулярного зрения могут быть дополнительно снижены затраты, связанные с навигационными средствами для позиционирования проходческого комбайна.

[0068] В данном случае информация о состоянии включает в себя информацию о степени образования кромки, информацию о степени выравнивания, информацию о первой позиции области поверхности вырубки, информацию о высоте и информацию о второй позиции области укладки материала, и, как показано на ФИГ. 2, получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле включает следующие этапы.

[0069] На этапе S1011 получают информацию об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле.

[0070] В данном случае бинокулярная камера, оснащенная многоточечной функцией дополнения инфракрасного равномерного освещения, прикреплена с обеих сторон проходческого комбайна, при этом бинокулярная камера предназначена для получения бинокулярных изображений забоя в туннеле с левой передней стороны и правой передней стороны проходческого комбайна.

[0071] В некоторых вариантах реализации получение информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле может включать: получение плотной параллаксной карты забоя согласно изображениям бинокулярного зрения в туннеле; и вычисление пространственных координат данных каждого облака точек в плотной параллаксной карте для получения информации об облаке точек забоя в плотной параллаксной карте.

[0072] Следует отметить, что бинокулярное изображение вычисляется посредством алгоритма SGM для получения плотной параллаксной карты, соответствующей забою, и затем вычисляются пространственные координаты данных индивидуального облака точек в плотной параллаксной карте вычислены для получения информации об облаке точек забоя в плотной параллаксной карте.

[0073] В данном случае информация об облаке точек на плотной параллаксной карте содержит пространственные координаты данных облака точек на плотной параллаксной карте, и во время вычисления пространственных координат облака точек на плотной параллаксной карте пространственные координаты {x_k, y_k, z_k}k=1, 2, …, K данных облака точек на плотной параллаксной карте вычисляются согласно формуле

где:

l - базовое расстояние;

disp - значение параллакса;

ƒ_x, и ƒ_у - фокусные расстояния в пикселях для данных облака точек; и

x_p, и у_р - координаты в пикселях для данных облака точек.

[0074] На этапе S1012 отделяют область поверхности вырубки от области укладки материала согласно информации об облаке точек забоя.

[0075] В данном случае область поверхности вырубки отделена от области укладки материала согласно информации об облаке точек забоя, так что информация о состоянии отделенной области поверхности вырубки и области укладки материала оценена раздельно, вследствие чего получена точная информация о состоянии, соответствующая области поверхности вырубки и области укладки материала соответственно.

[0076] В некоторых вариантах реализации, со ссылкой на ФИГ. 3, отделение области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя включает:

[0077] Этап S1012-1, на котором согласно информации об облаке точек забоя на плотной параллаксной карте вычисляют пространственную плоскость, соответствующую информации об облаке точек в области поверхности вырубки, и определяют данные облака точек, соответствующие области поверхности вырубки.

[0078] Во время вычисления пространственной плоскости, соответствующей информации об облаке точек области поверхности вырубки, данное вычисление выполняют способом объединения RANSAC с методом наименьших квадратов для пригонки уравнения пространственной плоскости, соответствующей информации об облаке точек в области поверхности вырубки. Конкретный способ вычисления следующий.

[0079] Может быть предположено, что уравнение пространственной плоскости, соответствующее информации об облаке точек в области поверхности вырубки, имеет вид xr_x+yr_y+zr_z=1, а набор облаков точек области поверхности вырубки имеет вид {x_k, y_k, z_k}k=1, 2, …, K, тогда:

[0080] , пусть , а

при этом r=(V^TV)^-1V^T1, т.е. получена пространственная плоскость, соответствующая информации об облаке точек в области поверхности вырубки, где r обозначает пространственную плоскость, соответствующую информации об облаке точек в области поверхности вырубки.

[0081] На этапе S1012-2 в качестве исходного точечного множества берут данные облака точек, расстояние которых от пространственной плоскости, соответствующей области поверхности вырубки, меньше чем пороговое значение.

[0082] Поскольку имеется определенное расстояние между областью поверхности вырубки и областью укладки материала, путем раздельного вычисления пространственных плоскостей, соответствующих информации об облаке точек в области поверхности вырубки, и сравнивания полученных пространственных плоскостей с пороговым значением, полученное точечное множество может иметь данные облака точек, соответствующие области укладки материала в пределах диапазона пороговых значений.

[0083] В этом варианте реализации данные облака точек, расстояние которых от пространственной плоскости r, соответствующей информации об облаке точек в области поверхности вырубки, находится в пределах диапазона пороговых значений (от 0 м до 1 м), выбраны в качестве исходного точечного множества P₀.

[0084] На этапе S1012-3 проецируют данные облака точек в пределах исходного точечного множества на пространственную плоскость, соответствующую области поверхности вырубки, для получения карты глубин.

[0085] В данном случае каждые данные облака точек в пределах исходного точечного множества P₀ проецируются на пространственную плоскость r, соответствующую информации об облаке точек в области поверхности вырубки, для получения карты глубин.

[0086] На этапе S1012-4 обучают семантическую модель сегментации на основании данных меток карты, собранных на карте глубин.

[0087] Следует отметить, что семантическая модель сегментации в настоящем документе представляет собой модель семантической сегментации U-net.

[0088] На этапе S1012-5 отделяют область поверхности вырубки от области укладки материала на карте глубин на основании модели семантической сегментации.

[0089] В данном случае во время отделения области поверхности вырубки от области укладки материала на карте глубин область поверхности вырубки и область укладки материала на карте глубин идентифицируют посредством модели семантической сегментации, а затем данные облака точек в области поверхности вырубки и области укладки материала соответственно повторно проецируют в соответствующие системы физических координат, которые соответствуют области поверхности вырубки и области укладки материала, таким образом получая соответствующие фактические пространственные данные облака точек, соответствующие области поверхности вырубки и области укладки материала, для завершения отделения области поверхности вырубки от области укладки материала.

[0090] На этапе S1013 определяют информацию о степени образования кромок, информацию о степени выравнивания и информацию о первой позиции области поверхности вырубки согласно данным облака точек области поверхности вырубки.

[0091] В некоторых вариантах реализации определение информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции области поверхности вырубки согласно данным облака точек области поверхности вырубки включает: проецирование данных облака точек, соответствующих области поверхности вырубки, на систему фактических физических координат для получения данных облака фактических пространственных точек области поверхности вырубки и получение информации о первой позиции, соответствующей области поверхности вырубки, согласно данным облака фактических пространственных точек области поверхности вырубки.

[0092] В данном случае: определено, что кромку этой области поверхности вырубки следует вырубить при условии, что информация о степени образования кромок имеет значение степени, которое больше, чем пороговое значение; и определено, что поверхность вырубки этой области поверхности вырубки следует вырубить при условии, что информация о степени выравнивания имеет значение степени, которое больше, чем пороговое значение.

[0093] На этапе S1014 определяют информацию о высоте и информацию о второй позиции области укладки материала согласно данным облака точек области укладки материала.

[0094] Следует отметить, что для препятствования сбору проходческим комбайном материалов для области укладки материала с низкой высотой определение информации о высоте и информации о второй позиции области укладки материала согласно данным облака точек области укладки материала дополнительно включает: сравнение информации о высоте области укладки материала с заданным пороговым значением высоты и использование области укладки материала, высота которой не меньше, чем заданное пороговое значение высоты, в качестве области укладки материала, в которой должны быть собраны материалы. Высота задана в качестве оценочного показателя для области укладки материала, в которой требуется осуществлять сбор материала. Считается, что область укладки материала превышает пороговое значение, и последующий этап сбора материала выполняется при условии, что обнаруженная высота области укладки материала превышает заданное пороговое значение высоты, в противном случае работа по сбору материала пропускается.

[0095] Определение информации о высоте и информации о второй позиции области укладки материала согласно данным облака точек области укладки материала включает: проецирование данных облака точек, соответствующих области укладки материала, на систему фактических физических координат для получения данных облака фактических пространственных точек области укладки материала и получение информации о второй позиции, соответствующей области укладки материала, согласно данным облака фактических пространственных точек области укладки материала.

[0096] На этапе S102 определят целевую задачу, которая подлежит выполнению проходческим комбайном, и целевую позицию, соответствующую целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала.

[0097] Следует отметить, что целевая задача содержит по меньшей мере одну из задачи вырубки для области поверхности вырубки и задачи сбора материала для области укладки материала, а целевая позиция включает в себя позицию области поверхности вырубки, для которой проходческий комбайн выполняет задачу вырубки, и позицию области укладки материала, для которой проходческий комбайн выполняет задачу сбора материала. Например, когда целевой задачей является задача сбора материала для области укладки материала в туннеле, целевой позицией является позиция области укладки материала в туннеле.

[0098] В некоторых вариантах реализации определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, может включать: определение целевой задачи, которая подлежит выполнению проходческим комбайном, согласно информации о степени образования кромок и информации о степени выравнивания области поверхности вырубки и информации о высоте области укладки материала; при этом целевая задача содержит по меньшей мере одну из задачи вырубки для области поверхности вырубки и задачи сбора материала для области укладки материала; и определение целевой позиции согласно информации о первой позиции и/или информации о второй позиции, соответствующей целевой задаче.

[0099] В данном случае, после извлечения данных облака точек области поверхности вырубки указанные данные облака точек области поверхности вырубки используют для пригонки профиля кромки области поверхности вырубки, а затем степень образования кромок области поверхности вырубки оценивают согласно отклонению результата пригонки от целевого результата, таким образом получая информацию о степени образования кромок области поверхности вырубки; вычисляют среднее значение и дисперсию расстояния от данных облака точек области поверхности вырубки до пространственной плоскости r, соответствующей информации об облаке точек в области поверхности вырубки, и всесторонне оценивают степень выравнивания области поверхности вырубки посредством среднего значения и дисперсии, таким образом получая информацию о степени выравнивания области поверхности вырубки.

[0100] На этапе S103 согласно отслеживанию перемещения проходческого комбайна с помощью средств бинокулярного зрения направляют проходческий комбайн для его перемещения из исходной позиции в целевую позицию и осуществляют картрирование картографических данных об окружающей среде и траектории проходческого комбайна во время его перемещения.

[0101] Следует отметить, что во время направления проходческого комбайна для его перемещения из исходной позиции в целевую позицию области укладки материала гидравлический двигатель, которым оснащен проходческий комбайн для приведения проходческого комбайна в действие, принуждает проходческий комбайн перемещаться из исходной позиции в целевую позицию области укладки материала согласно информации об обнаружения области поверхности вырубки и области укладки материала в туннеле с использованием средств бинокулярного зрения.

[0102] В данном случае путем отслеживания перемещения проходческого комбайна в режиме реального времени посредством бинокулярного зрения может быть определена позиция проходческого комбайна во время его перемещения и осуществлено направление перемещения проходческого комбайна из исходной позиции в целевую позицию области укладки материала согласно позиции проходческого комбайна, полученной путем отслеживания, т.е. направление в режиме реального времени перемещения проходческого комбайна, когда отслеженная позиция проходческого комбайна отклоняется от перемещения в направлении к целевой позиции, для гарантии того, что проходческий комбайн перемещается в целевую позицию, в которой расположена область укладки материала.

[0103] В некоторых вариантах реализации согласно отслеживанию перемещения проходческого комбайна посредством бинокулярного зрения направление проходческого комбайна для его перемещения из исходной позиции в целевую позицию включает: получение данных облака точек в режиме реального времени в области поверхности вырубки посредством бинокулярных камер, прикрепленных с обеих сторон проходческого комбайна; и вычисление относительной позиции между проходческим комбайном и областью поверхности вырубки согласно данным облака точек в режиме реального времени в области укладки материала для достижения отслеживания перемещения проходческого комбайна.

[0104] Получение данных облака точек в режиме реального времени в области поверхности вырубки во время перемещения проходческого комбайна посредством бинокулярных камер, прикрепленных с обеих сторон проходческого комбайна, не только обеспечивает получение в режиме реального времени относительной позиции между проходческим комбайном и областью поверхности вырубки для реализации отслеживания перемещения проходческого комбайна, но также способствует картрированию картографических данных об окружающей среде в режиме реального времени при перемещении проходческого комбайна из исходной позиции в целевую позицию посредством бинокулярных визуальных изображений, полученных в режиме реального времени.

[0105] Для выполнения проходческим комбайном перемещения точно в целевую позицию области укладки материала, со ссылкой на ФИГ. 4, согласно отслеживанию перемещения проходческого комбайна посредством бинокулярного зрения направление проходческого комбайна для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения может включать следующие этапы.

[0106] На этапе S1031 получают область корпуса и исходный поворота проходческого комбайна, при этом область корпуса является областью покрытия корпуса проходческого комбайна.

[0107] Как показано на ФИГ. 5, область укладки материала расположена в левой части чертежа, т.е. область S₀ является областью корпуса проходческого комбайна, а θ₀ - исходный угол поворота проходческого комбайна. В данном случае исходным углом поворота является угол, под которым перемещается проходческий комбайн, когда начинается его перемещение из исходной позиции в целевую позицию области укладки материала.

[0108] На этапе S1032 задают виртуальную область, которая перемещается с проходческим комбайном согласно области корпуса проходческого комбайна.

[0109] Область S₁ на ФИГ. 5 является виртуальной областью, заданной согласно области корпуса проходческого комбайна. В данном случае виртуальная область может перемещаться с проходческим комбайном, при этом ширина виртуальной области больше, чем ширина области корпуса, а проходческий комбайн может достигать различных конечных положений путем выбора ширины виртуальной области.

[0110] На этапе S1033 направляют проходческий комбайн для перемещения прямо в направлении исходного угла поворота согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения, а когда виртуальная область касается боковой стенки, направляя проходческий комбайн для перемещения вращением до тех пор, пока он не переместится в целевую позицию.

[0111] Описанное выше может быть понято следующим образом: сначала направляют проходческий комбайн для его перемещения вращением на исходный угол θ₀ поворота; затем направляют проходческий комбайн для перемещения прямо вперед в направлении исходного угла поворота; обнаруживают в режиме реального времени, касается ли область S₁ боковой стенки (т.е. обнаружен ли вход облака точек в область S₁) посредством бинокулярной камеры, расположенной на проходческом комбайне, и если область S₁ касается боковой стенки, направляют проходческий комбайн для поворота до тех пор, пока угол отклонения проходческого комбайна не будет равен 0. В это время проходческий комбайн перемещается прямо для достижения целевой позиции, в которой область укладки материала расположена сбоку от забоя.

[0112] Кроме того, путем отслеживания перемещения виртуальной области в режиме реального времени посредством бинокулярного зрения может быть определена позиция проходческого комбайна во время перемещения, а согласно позиции проходческого комбайна, полученной указанным отслеживанием, перемещением проходческого комбайна из исходной позиции в целевую позицию в области укладки материала управляют в режиме реального времени.

[0113] Предпочтительно направление проходческого комбайна для его перемещения прямо в направлении исходного угла поворота, а когда виртуальная область касается боковой стенки, направление проходческого комбайна для его перемещения вращением согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения до тех пор, пока проходческий комбайн не переместится в целевую позицию, в которой расположена область укладки материала, включает: предварительное определение количества точек поворота траектории перемещения проходческого комбайна из исходной позиции в целевую позицию; и определение угла поворота, который направляет одно вращательное перемещение проходческого комбайна согласно исходному углу поворота и количеству точек поворота траектории при условии, что виртуальная область касается боковой стенки.

[0114] В данном случае заданное количество точек поворота траектории составляет n, а угол поворота, который направляет вращательное перемещение проходческого комбайна, когда виртуальная область касается боковой стенки, составляет

[0115] На этапе S1034 осуществляют картрирование в режиме реального времени траектории перемещения проходческого комбайна из исходной позиции в целевую позицию согласно прямой траектории, вдоль которой проходческий комбайн направляют для его перемещения прямо в направлении исходного угла поворота, и траекторию вращения, вдоль которой проходческий комбайн перемещается вращением.

[0116] На этапе S1035 осуществляют картрирование в режиме реального времени картографических данных об окружающей среде проходческого комбайна во время его перемещения из исходной позиции в целевую позицию согласно изображениям бинокулярного зрения проходческого комбайна во время его перемещения, полученным посредством бинокулярного зрения.

[0117] В данном случае во время направления проходческого комбайна для его перемещения, путем сбора характерных точек ORB с помощью бинокулярных камер, карта характерных точек строится в режиме реального времени и оптимизируется с помощью ВА.

[0118] На этапе S104 управляют проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию.

[0119] Следует отметить, что проходческий комбайн оснащен гидравлическим двигателем для осуществления общего перемещения проходческого комбайна, вырубным механизмом для вырубки области поверхности вырубки и механизмом сбора материала для сбора материалов и их размещения в области укладки материала. Когда проходческий комбайн приводится в действие гидравлическим двигателем для перемещения в целевую позицию, механизмом сбора материала проходческого комбайна управляют для сбора материалов для размещения в области укладки материала.

[0120] В данном случае, когда целевой задачей является задача сбора материала для размещения в области укладки материала в туннеле, а целевой позицией является позиция в области укладки материала в туннеле, после того, как проходческий комбайн перемещен в целевую позицию, механизм сбора материала собирает материалы, уложенные в области укладки материала, до тех пор, пока высота уложенных материалов не станет меньше, чем соответствующее пороговое значение; а когда целевой задачей является задача вырубки для области поверхности вырубки, а целевой позицией является позиция области поверхности вырубки, после того, как проходческий комбайн перемещен в целевую позицию, вырубной механизм вырубает область поверхности вырубки. В данном случае, когда необходимо вырубить кромку области поверхности вырубки, вырубной механизм вырубает кромку области поверхности вырубки до тех пор, пока область поверхности вырубки не будет иметь значение степени образования кромок, которое меньше соответствующего порогового значения; а когда необходимо вырубить поверхность вырубки области поверхности вырубки, вырубной механизм вырубает поверхность вырубки области поверхности вырубки до тех пор, пока поверхность вырубки области поверхности вырубки не будет иметь значение степени выравнивания, которое меньше соответствующего порогового значения.

[0121] На этапе S105 управляют согласно картографическим данным об окружающей среде проходческим комбайном для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0122] После того, как проходческий комбайн завершил сбор материалов для области укладки материала, он может быть перемещен из целевой позиции в исходную позицию направлением проходческого комбайна в обратном направлении для его перемещения согласно навигационной траектории. В данном случае позицию в режиме реального времени проходческого комбайна во время его перемещения к исходной позиции получают в режиме реального времени дополнительным сбором в режиме реального времени характерных точек окружающей среды проходческого комбайна во время его перемещения посредством камер, расположенных на проходческом комбайне, и согласованием полученных признаков окружающей среды с картой характерных точек, которые составляют траекторию перемещения.

[0123] В настоящем документе предложен способ управления проходческим комбайном на основании бинокулярного зрения. В отличие от уровня техники, в настоящем документе информацию о состоянии, соответствующую области поверхности вырубки, и информацию о состоянии, соответствующую области укладки материала, определяют посредством технологии бинокулярного зрения, затем целевую задачу, которая подлежит выполнению проходческим комбайном, и целевую позицию, соответствующую этой целевой задаче, определяют согласно информации о состоянии, которая соответствует области поверхности вырубки, и информации о состоянии, которая соответствует области укладки материала, затем направляют проходческий комбайн из исходной позиции в целевую позицию, которая соответствует области поверхности вырубки или области укладки материала, с отслеживанием посредством бинокулярного зрения, тем самым достигается идентификация и позиционирование целевой задачи, которая соответствует области поверхности вырубки или области укладки материала, расположенной в туннеле, с использованием технологии бинокулярного зрения, затем направляют проходческий комбайн для его перемещения в целевую позицию, так что проходческий комбайн выполняет целевую задачу, а после того, как целевая задача завершена, проходческим комбайном управляют согласно картографическим данным об окружающей среде проходческого комбайна для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения.

[0124] Следует понимать, что величина порядковых номеров этапов в описанных выше вариантах реализации не подразумевает порядок выполнения, но порядок выполнения каждого процесса должен быть определен его функцией и присущей ему логикой, не составляя ограничения для осуществления процесса согласно данным вариантам реализации настоящего изобретения.

[0125] В одном варианте реализации предложено устройство для управления проходческим комбайном на основании бинокулярного зрения, как показано на ФИГ. 6, при этом система сбора материала содержит модуль позиционирования на основе бинокулярного зрения, навигационный модуль и модуль управления. Каждый функциональный модуль подробно описан ниже.

[0126] Модуль 61 получения информации о состоянии для получения информации о состоянии, которая соответствует области поверхности вырубки, и информации о состоянии, которая соответствует области укладки материала, согласно изображениям бинокулярного зрения в туннеле.

[0127] Модуль 62 определения целевой задачи для определения целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, которая соответствует целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала.

[0128] Навигационный модуль 63 для направления проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для перемещения из исходной позиции в целевую позицию и картрирования картографических данных об окружающей среде и траектории проходческого комбайна во время его перемещения.

[0129] Первый модуль 64 управления для управления проходческим комбайном при выполнении им целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию.

[0130] Второй модуль 65 управления для управления проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории его перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0131] Кроме того, информация о состоянии включает в себя информацию о степени образования кромок, информацию о степени выравнивания, информацию о первой позиции в области поверхности вырубки, информацию о высоте и информацию о второй позиции в области укладки материала, при этом модуль 61 получения информации о состоянии содержит:

[0132] блок получения данных облака точек для получения информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле;

[0133] блок разделения для отделения области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя;

[0134] первый блок определения информации для определения информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции в области поверхности вырубки согласно данным облака точек в области поверхности вырубки; и

[0135] второй блок определения информации для определения информации о высоте и информации о второй позиции в области укладки материала согласно данным облака точек в области укладки материала;

[0136] при этом модуль 62 определения целевой задачи содержит:

[0137] блок определения целевой задачи для определения целевой задачи, которая подлежит выполнению проходческим комбайном, согласно информации о степени образования кромок, информации о степени выравнивания области поверхности вырубки и информации о высоте области укладки материала; при этом целевая задача содержит по меньшей мере одну из задачи вырубки для области поверхности вырубки и задачи сбора материала для области укладки материала; и

[0138] блок определения целевой позиции для определения целевой позиции согласно информации о первой позиции и/или информации о второй позиции, соответствующих целевой задаче.

[0139] Кроме того, блок получения данных облака точек содержит:

[0140] субблок получения плотной параллаксной карты для получения плотной параллаксной карты забоя согласно изображениям бинокулярного зрения в туннеле и

[0141] первый субблок получения данных облака точек для вычисления пространственных координат каждых данных облака точек на плотной параллаксной карте для получения информации об облаке точек забоя на плотной параллаксной карте;

[0142] блок разделения содержит:

[0143] второй субблок получения данных облака точек для вычисления пространственной плоскости, соответствующей информации об облаке точек в области поверхности вырубки, при этом указанное вычисление выполняют согласно информации об облаке точек забоя на плотной параллаксной карте, и определения данных облака точек, соответствующих области поверхности вырубки;

[0144] субблок получения исходного точечного множества для использования в качестве исходного точечного множества данных облака точек, расстояние которых от пространственной плоскости, соответствующей области поверхности вырубки, меньше, чем пороговое значение;

[0145] субблок получения карты глубин для проецирования данных облака точек в пределах исходного точечного множества на пространственную плоскость, соответствующую области поверхности вырубки, для получения карты глубин;

[0146] субблок обучения модели семантической сегментации для обучения модели семантической сегментации на основании данных меток карты, собранных на карте глубин и

[0147] субблок разделения для отделения области поверхности вырубки от области укладки материала на карте глубин на основании модели семантической сегментации.

[0148] Кроме того, первый блок определения информации содержит:

[0149] первый блок получения данных облака фактических пространственных точек для проецирования данных облака точек, соответствующих области поверхности вырубки, на систему фактических физических координат для получения данных облака фактических пространственных точек в области поверхности вырубки и

[0150] первый блок получения информации о позиции для получения информации о первой позиции, соответствующей области поверхности вырубки, согласно данным облака фактических пространственных точек в области поверхности вырубки;

[0151] второй блок определения информации содержит:

[0152] второй блок получения данных облака фактических пространственных точек для проецирования данных облака точек, соответствующих области укладки материала, на систему фактических физических координат для получения данных облака фактических пространственных точек в области укладки материала и

[0153] блок получения информации о второй позиции для получения информации о второй позиции, соответствующей области укладки материала, согласно данным облака фактических пространственных точек в области укладки материала.

[0154] Кроме того, навигационный модуль 63 содержит:

[0155] блок получения данных облака точек в режиме реального времени для получения данных облака точек в режиме реального времени в области поверхности вырубки посредством бинокулярных камер, прикрепленных с обеих сторон проходческого комбайна; и

[0156] блок отслеживания перемещения для вычисления относительной позиции между проходческим комбайном и областью поверхности вырубки согласно данным облака точек в режиме реального времени в области укладки материала для достижения отслеживания перемещения проходческого комбайна.

[0157] Кроме того, навигационный модуль 63 содержит:

[0158] блок получения информации о проходческом комбайне для получения области корпуса и исходного угла поворота проходческого комбайна, при этом областью корпуса является область покрытия корпуса проходческого комбайна;

[0159] блок задания виртуальной области для задания виртуальной области, которая перемещается с проходческим комбайном, согласно области корпуса проходческого комбайна;

[0160] навигационный блок для направления проходческого комбайна для его перемещения прямо в направлении исходного угла поворота согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения, а когда виртуальная область касается боковой стенки, направления проходческого комбайна для его перемещения вращением до тех пор, пока проходческий комбайн не переместится в целевую позицию;

[0161] блок картрирования траектории перемещения для картрирования в режиме реального времени траектории перемещения проходческого комбайна из исходной позиции в целевую позицию согласно прямой траектории, по которой проходческий комбайн направляют для перемещения прямо в направлении исходного угла поворота, и траектории вращения, по которой проходческий комбайн перемещается вращением; и

[0162] блок картрирования картографических данных об окружающей среде для картрирования в режиме реального времени картографических данных об окружающей среде проходческого комбайна во время его перемещения из исходной позиции в целевую позицию согласно изображениям бинокулярного зрения проходческого комбайна во время его перемещения, полученным посредством бинокулярного зрения.

[0163] Кроме того, навигационный блок содержит:

[0164] субблок предварительного определения количества точек поворота в траектории для предварительного определения количества точек поворота в траектории перемещения проходческого комбайна из исходной позиции в целевую позицию; и

[0165] блок определения угла поворота для определения угла поворота, который направляет одно вращательное перемещение проходческого комбайна, согласно исходному углу поворота и количеству точек поворота в траектории при условии, что виртуальная область касается боковой стенки.

[0166] В настоящем документе предложено устройство для управления проходческим комбайном на основе бинокулярного зрения. По сравнению с уровнем техники, в настоящем документе информация о состоянии, соответствующая области поверхности вырубки, и информация о состоянии, соответствующая области укладки материала, определяются посредством технологии бинокулярного зрения, затем целевая задача, которая подлежит выполнению проходческим комбайном, и целевая позиция, соответствующая целевой задаче, определяются согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, затем проходческий комбайн направляют из исходной позиции в целевую позицию, соответствующую области поверхности вырубки или области укладки материала, при отслеживании посредством бинокулярного зрения, и таким образом достигаются идентификация и позиционирование целевой задачи, соответствующей области поверхности вырубки или области укладки материала, расположенных в туннеле, посредством технологии бинокулярного зрения, затем проходческий комбайн направляют для перемещения в целевую позицию, так что проходческий комбайн выполняет целевую задачу, а после того, как целевая задача будет завершена, проходческим комбайном управляют согласно картографическим данным об окружающей среде проходческого комбайна для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения.

[0167] Относительно конкретных ограничений в отношении устройства для управления проходческим комбайном на основании бинокулярного зрения, ссылка может быть сделана на ограничения в отношении способа управления проходческим комбайном на основе бинокулярного зрения в предыдущем содержании, которое не будет повторено в данном случае. Модули упомянутого выше устройства для управления проходческим комбайном на основе бинокулярного зрения могут быть полностью или частично реализованы с использованием программного обеспечения, аппаратных средств и сочетаниями перечисленного выше. Каждый из описанных выше модулей может быть встроенным в процессор или независимым от процессора в вычислительном устройстве в виде аппаратных средств, или может храниться в запоминающем устройстве вычислительного устройства в виде программного обеспечения, так что процессор может извлекать это программное обеспечение для выполнения операций, соответствующих каждому из описанных выше модулей.

[0168] В одном варианте реализации предложено вычислительное устройство, которое может быть серверной частью, а его внутренняя структура может быть такой, как показано на ФИГ. 7. Вычислительное устройство содержит процессор, запоминающее устройство, сетевой интерфейс и базу данных, соединенных друг с другом посредством системной шины. Процессор вычислительного устройства используется для обеспечения функций вычисления и управления. Запоминающее устройство вычислительного устройства содержит долговременный и/или кратковременный носитель для хранения и внутреннее запоминающее устройство. В долговременном носителе для хранения хранится операционная система, компьютерная программа и база данных. Внутреннее запоминающее устройство обеспечивает среду для работы операционной системы и компьютерной программы в долговременном носителе для хранения. Сетевой интерфейс вычислительного устройства используется для обмена данными с внешним клиентом посредством сетевого соединения. Компьютерная программа исполняется процессором для осуществления функций или этапов серверной части способа управления проходческим комбайном на основе бинокулярного зрения.

[0169] В одном варианте реализации предложено вычислительное устройство, которое может быть клиентом, а его внутренняя структура может быть такой, как показано на ФИГ. 8. Вычислительное устройство содержит процессор, запоминающее устройство, сетевой интерфейс, экран отображающего устройства и устройство ввода, соединенные друг с другом посредством системной шины. Процессор вычислительного устройства используется для осуществления функций вычисления и управления. Запоминающее устройство в вычислительном устройстве содержит долговременный носитель для хранения и внутреннее запоминающее устройство. В долговременном носителе для хранения хранятся операционная система и компьютерная программа. Внутреннее запоминающее устройство обеспечивает среду для работы операционной системы и компьютерной программы в долговременном носителе для хранения. Сетевой интерфейс вычислительного устройства используется для обмена данными с внешним сервером посредством сетевого соединения. Компьютерная программа исполняется процессором для осуществления функций или этапов клиентской части способа управления проходческим комбайном на основе бинокулярного зрения.

[0170] В одном варианте реализации предложено вычислительное устройство, содержащее запоминающее устройство, процессор и компьютерную программу, хранящуюся в запоминающем устройстве и исполняемую процессором, которая при ее исполнении процессором реализует следующие этапы:

[0171] получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображению бинокулярного зрения в туннеле;

[0172] определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей указанной целевой задаче, согласно информации о состоянии, которая соответствует области поверхности вырубки, и информации о состоянии, которая соответствует области укладки материала;

[0173] направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

[0174] управление проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

[0175] управление проходческим комбайном согласно картографическим данным об окружающей среде для перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0176] В одном варианте реализации предложен еще один компьютерочитаемый носитель для хранения, в котором хранится компьютерная программа, которая операнд ее исполнении процессором осуществляет следующие этапы:

[0177] получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле;

[0178] определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей этой целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала;

[0179] направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

[0180] управление проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

[0181] управление проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

[0182] Следует отметить, что относительно упомянутых выше функций или этапов, которые могут быть осуществлены с помощью компьютерочитаемого носителя для хранения или вычислительного устройства, ссылка может быть сделана на соответствующее описание серверной части и клиентской части в предыдущих вариантах реализации способа, которые не будут описаны в данном случае, чтобы не повторяться.

[0183] Специалисту в данной области техники может быть понятно, что данный вариант реализации всех или части процессов в способах описанных выше вариантов реализации может быть осуществлен компьютерной программой, инструктирующей соответствующие аппаратные средства, а эта компьютерная программа может храниться в долговременном компьютерочитаемом носителе для хранения, и при этом данная компьютерная программа при ее исполнении может включать в себя процессы вариантов реализации способов, описанных выше. Любая ссылка на запоминающее устройство, устройство для хранения, базу данных или другие носители, используемые в вариантах реализации, представленных в настоящем документе, может включать в себя долговременное и/или кратковременное запоминающее устройство. Долговременное запоминающее устройство может включать в себя постоянное запоминающее устройство (ROM), программируемое запоминающее устройство (PROM), электрически программируемое постоянное запоминающее устройство (EPROM), электрически стираемое и программируемое постоянное запоминающее устройство (EEPROM) или флэш-память. Кратковременное запоминающее устройство может включать в себя запоминающее устройство с произвольным доступом (RAM) или внешнюю кэш-память. В качестве иллюстрации, но не ограничения, запоминающее устройство с произвольным доступом (RAM) может быть доступна во множестве видов, таких как статическое запоминающее устройство с произвольным доступом (SRAM), динамическое запоминающее устройство с произвольным доступом (DRAM), синхронное динамическое запоминающее устройство с произвольным доступом (SDRAM), синхронное динамическое запоминающее устройство с произвольным доступом с двойной скоростью передачи данных (DDRSDRAM), улучшенное синхронное динамическое запоминающее устройство с произвольным доступом (ESDRAM), динамическое запоминающее устройство с произвольным доступом, работающее по протоколу Synchlink (SLDRAM), запоминающее устройство с произвольным доступом и шиной типа Rambus direct (RDRAM), динамическое запоминающее устройство с произвольным доступом и шиной типа Rambus direct (DRDRAM), динамическое запоминающее устройство с произвольным доступом шиной типа Rambus (RDRAM), и т.п.

[0184] Специалист может отчетливо понимать, что для удобства и краткости описания упомянутое выше разделение каждого функционального блока и модуля приведено только для примера. В случаях фактического применения упомянутые выше функции могут быть назначены для выполнения различными функциональными блоками и модулями в соответствии с потребностями, т.е. внутренняя структура устройства разделена на различные функциональные блоки или модули для осуществления всех или части функций, описанных выше.

[0185] Описанные выше варианты реализации используются только для показа технических решений настоящего изобретения, но не для их ограничения. Хотя настоящая заявка описана подробно со ссылкой на вышеизложенные варианты реализации, специалисту в данной области техники должно быть понятно, что технические решения в приведенных выше вариантах реализации, тем не менее, могут быть изменены, или эквивалентные замены могут быть осуществлены в некоторых из технических признаков, содержащихся в этих вариантах реализации; и эти изменения или замены не вызывают отклонения сущности соответствующих технических решений от идеи и объема охраны этих технических решений, содержащихся в этих вариантах реализации, описанных в настоящем документе, но должны быть включены в объем охраны настоящего изобретения.

В изобретении раскрыты способ и устройство для управления проходческим комбайном на основе бинокулярного зрения, в котором информацию о состоянии, соответствующую области поверхности вырубки, и информацию о состоянии, соответствующую области укладки материала, определяют посредством технологии бинокулярного зрения, затем определяют целевую задачу, которая подлежит выполнению проходческим комбайном, и целевую позицию, соответствующую целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала. Затем направляют проходческий комбайн из исходной позиции в целевую позицию, которые соответствуют области поверхности вырубки или области укладки материала, путем отслеживания его перемещения посредством бинокулярного зрения, таким образом осуществляя идентификацию и позиционирование для целевой задачи, которая соответствует области поверхности вырубки или области укладки материала, расположенным в туннеле, с использованием технологии бинокулярного зрения. Затем направляют проходческий комбайн для его перемещения в целевую позицию, так что проходческий комбайн выполняет целевую задачу, и, после того, как целевая задача завершена, проходческим комбайном управляют согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения. 4 н. и 6 з.п. ф-лы, 8 ил.

1. Способ управления проходческим комбайном на основе бинокулярного зрения, включающий:

получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле;

определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей этой целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала;

направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

управление проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

управление проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

2. Способ управления по п. 1, согласно которому информация о состоянии включает в себя информацию о степени образования кромок, информацию о степени выравнивания и информацию о первой позиции области поверхности вырубки, а также информацию о высоте и информацию о второй позиции области укладки материала, при этом получение информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле включает:

получение информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле;

отделение области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя;

определение информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции области поверхности вырубки согласно данным облака точек в области поверхности вырубки;

определение информации о высоте и информации о второй позиции области укладки материала согласно данным облака точек в области укладки материала;

определение целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей этой целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, включает:

определение целевой задачи, которая подлежит выполнению проходческим комбайном, согласно информации о степени образования кромок, информации о степени выравнивания области поверхности вырубки и информации о высоте области укладки материала; при этом целевая задача содержит по меньшей мере одну из задачи вырубки для области поверхности вырубки и задачи сбора материала для области укладки материала; и

определение целевой позиции согласно информации о первой позиции и/или информации о второй позиции, соответствующих целевой задаче.

3. Способ управления по п. 2, согласно которому получение информации об облаке точек забоя согласно изображениям бинокулярного зрения в туннеле включает:

получение плотной параллаксной карты забоя согласно изображениям бинокулярного зрения в туннеле;

вычисление пространственных координат каждых данных облака точек на плотной параллаксной карте для получения информации об облаке точек забоя на плотной параллаксной карте;

отделение области поверхности вырубки от области укладки материала согласно информации об облаке точек забоя, включающее:

вычисление, выполняемое согласно информации об облаке точек забоя на плотной параллаксной карте, пространственной плоскости, соответствующей информации об облаке точек в области поверхности вырубки, и определение данных облака точек, соответствующих области поверхности вырубки;

использование в качестве исходного точечного множества указанных данных облака точек, расстояние которых от пространственной плоскости, соответствующей области поверхности вырубки, меньше порогового значения;

проецирование данных облака точек в пределах исходного точечного множества на пространственную плоскость, соответствующую области поверхности вырубки, для получения карты глубин;

обучение модели семантической сегментации на основании данных меток карты, собранных на карте глубин; и

отделение области поверхности вырубки от области укладки материала на карте глубин на основании модели семантической сегментации.

4. Способ управления по п. 3, согласно которому определение информации о степени образования кромок, информации о степени выравнивания и информации о первой позиции области поверхности вырубки согласно данным облака точек в области поверхности вырубки включает:

проецирование данных облака точек, соответствующих области поверхности вырубки, на систему фактических физических координат для получения данных облака фактических пространственных точек в области поверхности вырубки;

получение информации о первой позиции, соответствующей области поверхности вырубки, согласно данным облака фактических пространственных точек в области поверхности вырубки;

определение информации о высоте и информации о второй позиции области укладки материала согласно данным облака точек области укладки материала, включающее:

проецирование данных облака точек, соответствующих области укладки материала, на систему фактических физических координат для получения данных облака фактических пространственных точек области укладки материала; и

получение информации о второй позиции, соответствующей области укладки материала, согласно данным облака фактических пространственных точек в области укладки материала.

5. Способ управления по п. 3, согласно которому направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию включает:

получение данных облака точек в режиме реального времени в области поверхности вырубки посредством бинокулярных камер, прикрепленных с обеих сторон проходческого комбайна; и

вычисление относительной позиции между проходческим комбайном и областью поверхности вырубки согласно данным облака точек в режиме реального времени в области укладки материала для достижения отслеживания перемещения проходческого комбайна.

6. Способ управления по п. 1, согласно которому направление проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирование картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения включает:

получение области корпуса и исходного угла поворота проходческого комбайна, при этом областью корпуса является область покрытия корпуса проходческого комбайна;

задание виртуальной области, которая перемещается с проходческим комбайном, согласно области корпуса проходческого комбайна;

направление проходческого комбайна для его перемещения прямо в направлении исходного угла поворота согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения и направление проходческого комбайна, когда виртуальная область касается боковой стенки, для его перемещения вращением до тех пор, пока проходческий комбайн не переместится в целевую позицию;

картрирование в режиме реального времени траектории перемещения проходческого комбайна из исходной позиции в целевую позицию согласно прямой траектории, вдоль которой проходческий комбайн направляют для перемещения прямо в направлении исходного угла поворота, и траектории вращения, вдоль которой проходческий комбайн перемещается вращением; и

картрирование в режиме реального времени картографических данных об окружающей среде проходческого комбайна во время его перемещения из исходной позиции в целевую позицию согласно изображениям бинокулярного зрения проходческого комбайна во время его перемещения, полученным посредством бинокулярного зрения.

7. Способ управления по п. 6, согласно которому направление проходческого комбайна для его перемещения прямо в направлении исходного угла поворота и направление проходческого комбайна, когда виртуальная область касается боковой стенки, для его перемещения вращением согласно отслеживанию перемещения виртуальной области посредством бинокулярного зрения до тех пор, пока проходческий комбайн не переместится в целевую позицию, в которой расположена область укладки материала, включает:

предварительное определение количества точек поворота в траектории перемещения проходческого комбайна из исходной позиции в целевую позицию; и

определение угла поворота, который направляет одно вращательное перемещение проходческого комбайна, согласно исходному углу поворота и количеству точек поворота в траектории при условии, что виртуальная область касается боковой стенки.

8. Устройство для управления проходческим комбайном на основе бинокулярного зрения, содержащее:

модуль получения информации о состоянии для получения информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала, согласно изображениям бинокулярного зрения в туннеле;

модуль определения целевой задачи для определения целевой задачи, которая подлежит выполнению проходческим комбайном, и целевой позиции, соответствующей целевой задаче, согласно информации о состоянии, соответствующей области поверхности вырубки, и информации о состоянии, соответствующей области укладки материала;

навигационный модуль для направления проходческого комбайна согласно отслеживанию его перемещения посредством бинокулярного зрения для его перемещения из исходной позиции в целевую позицию и картрирования картографических данных об окружающей среде и траектории перемещения проходческого комбайна во время его перемещения;

первый модуль управления для управления проходческим комбайном для выполнения целевой задачи при условии, что проходческий комбайн перемещается в целевую позицию; и

второй модуль управления для управления проходческим комбайном согласно картографическим данным об окружающей среде для его перемещения из целевой позиции в исходную позицию вдоль траектории перемещения при условии, что проходческий комбайн завершает целевую задачу.

9. Вычислительное устройство, содержащее:

один или более процессоров;

одно или более запоминающих устройств; и

одну или более программ, хранящихся в запоминающем устройстве и выполненных с возможностью исполнения одним или более процессоров, при этом программа содержит инструкции для осуществления способа управления проходческим комбайном на основе бинокулярного зрения по любому из пп. 1-7.

10. Компьютерочитаемый носитель для хранения, содержащий компьютерную программу для использования в сочетании с навигационным устройством в транспортном средстве, при этом компьютерная программа выполнена с возможностью ее исполнения процессором для осуществления способа управления проходческим комбайном на основе бинокулярного зрения по любому из пп. 1-7.