СПОСОБ ПАРАЛЛЕЛЬНОЙ РАСПРЕДЕЛЁННОЙ РАБОТЫ ГРУППЫ РОБОТОТЕХНИЧЕСКИХ КОМПЛЕКСОВ ПРИ РЕШЕНИИ ЗАДАЧИ РАСПОЗНАВАНИЯ МНОЖЕСТВА ОБЪЕКТОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ Российский патент 2024 года по МПК G06F9/50 B25J19/00 

Изобретение относится к области управления группой робототехнических комплексов (РТК) при совместном решении задач технического зрения и может быть использовано при обеспечении максимального быстродействия систем распознавания объектов по цифровым изображениям, получаемым РТК в целях своей ориентации в пространстве, за счет использования незадействованных вычислительных ресурсов других РТК группы имеющих двухстороннюю связь с РТК испытывающим недостаток производительности бортовых вычислительных устройств.

Данное техническое решение в первую очередь предназначено для распределения вычислительных задач по распознаванию объектов, найденных на цифровом изображении, по бортовым вычислительным устройствам, расположенным на удаленных РТК группы, обеспеченных двухсторонним каналом связи с РТК источником цифровых изображений на которых он осуществляет обнаружение объектов в режиме реального времени для обеспечения функционирования систем технического зрения.

Современным трендом развития техники является повсеместное использование РТК различного назначения. Одной из сложнейших задач, решаемых при обеспечении их ориентации в пространстве является распознавание объектов и их характеристик на изображениях с камер.

При этом с учетом зачастую недостаточного вычислительного ресурса распознавание множества объектов в режиме близком к реальному времени не всегда реализуемо.

Стоит отметить и ситуацию, когда вычислительные ресурсы РТК намеренно занижаются системами энергосбережения.

При работе группы РТК, используемые ими собственные вычислительные ресурсы не всегда одинаковы, могут возникать случаи простоя отдельных РТК и перегрузки центрального процессора других из-за нахождения в их поле зрения множества объектов.

Применяемые камеры высокого разрешения позволяют получить изображения высокой четкости и частоты кадров, что требует соответствующих больших вычислительных ресурсов при обнаружении и распознавании на них различных объектов.

Еще одной важной особенностью функционирования программного обеспечения при недостатке вычислительных ресурсов являются частые программные сбои и «зависания», которые также могут быть вызваны несовершенством используемого программного обеспечения.

В известных технических решениях данные недостатки рассмотрены отдельно и не в полном объеме применимы при создании распределенных робототехнических систем способных делиться свободными вычислительными ресурсами с РТК испытывающими ее дефицит.

Из уровня техники известен Способ контроля функционирования программного обеспечения [1], который заключается в следующем: осуществляют запуск контролируемого программного обеспечения при запуске электронной вычислительной машины, вырабатывают ключ симметричного шифрования для взаимодействия модуля контроля и контролируемого программного обеспечения в ответ на сигнал инициализации, полученный при начальном запуске от программного обеспечения, модулю контроля сообщают идентификатор контролируемого программного обеспечения, набор контролируемых подсистем и ожидаемую интенсивность (динамику) получения сигналов оповещения от контролируемых подсистем, в процессе функционирования программного обеспечения модулем контроля отслеживают интенсивность (динамику) получения сигналов оповещения от контролируемых подсистем по криптографически защищенному каналу, в случае несоответствия реальной интенсивности (динамики) ожидаемой выполняют перезапуск электронной вычислительной машины.

Недостатком данного технического решения является полный перезапуск системы при «зависании» хотя бы одного из функционирующих программных модулей.

В области группового функционирования нескольких РТК известна Мультиагентная робототехническая система [3], содержащая мобильные роботы с индивидуальными энергетическими установками, двигателями и движителями, по меньшей мере один летательный аппарат и искусственный спутник Земли, входящие в бортовую аппаратуру летательного аппарата системы воздушного слежения за роботами, получения информации от них и командного управления ими в составе приемопередатчика, формирователь изображения зоны действий, связанный с ним модуль планирования индивидуальных маршрутов роботов и входящие в бортовую аппаратуру роботов системы собственного управления и наблюдения, связанные посредством бортовых приемопередатчиков, к которым подключены блок сенсоров, контроллер управления бортовой аппаратурой и контроллер управления шасси, с системой воздушного слежения, информации и управления бортовых приемопередатчиков, отличающаяся тем, что она содержит мобильные роботы в виде беспилотных летательных аппаратов, сухопутных мобильных роботов, надводных мобильных роботов и подводных мобильных роботов, бортовая аппаратура которых дополнена блоком системы постановки помех, блоком систем обнаружения, блоком навигационных приемников, блоком передатчиков навигационных сигналов, блоком опознавания «свой-чужой», блоком командной радиолинии управления, связанной беспроводной связью с пультом управления, блоком приемопередатчиков связи, выполненным с возможностью осуществления взаимного слежения, обмена текущей информацией, определения относительных координат в трехмерном пространстве и их ретрансляции на по меньшей мере один летательный аппарат через бортовой приемопередатчик робота-посредника из числа мультиагентов, блоком инерциальной навигационной системы и блоком сенсоров, при этом в мобильных роботах блок системы постановки помех соединен с первым выходом контроллера управления бортовой аппаратурой, блок систем обнаружения соединен со вторым выходом контроллера управления бортовой аппаратурой, блок навигационных преемников соединен с третьим выходом контроллера управления бортовой аппаратурой, блок передатчиков навигационных сигналов соединен с четвертым выходом контроллера управления бортовой аппаратурой, блок системы опознавания «свой-чужой» соединен с пятым выходом контроллера управления бортовой аппаратурой, блок командной радиолинии управления соединен с пультом управления и шестым выходом контроллера управления бортовой аппаратурой, блок приемопередатчиков связи соединен с седьмым выходом контроллера управления бортовой аппаратурой, блок инерциальной навигационной системы соединен с восьмым выходом контроллера управления бортовой аппаратурой, блок сенсоров соединен с девятым выходом контроллера управления бортовой аппаратурой, контроллер управления движением шасси соединен с десятым выходом контроллера управления бортовой аппаратурой. Недостатками данной системы являются:

отсутствие возможности задействования вычислительных ресурсов одного робота для совместного решения с целью ускорения задач, выполняемых другим роботом;

отсутствие механизма контроля и управления функционированием программного обеспечения, реализующего распознавание объектов при недостаточном вычислительном ресурсе и «зависании».

Другие известные РТК [4, 5], не позволяют организовать распределенные вычисления и ориентированы на самостоятельное выполнение всех задач обработки данных.

Известные технические решения распределения производительности [6, 7, 8] предполагают эффективное распределение вычислительных ресурсов в пределах одного изделия, а подходы, применяемые для распределенных вычислений, преимущественно требуют централизованного управления.

Наиболее близкой по технической сущности к заявленному способу и выбранная в качестве прототипа является техническая система: «Трехкоординатное устройство обнаружения и распознавания объектов монокулярными оптико-электронными приборами наземных и воздушных робототехнических комплексов на основе стереоскопического 3D-мониторинга» [2], которая предназначена для качественного расширения возможностей по обнаружению и распознаванию замаскированных объектов штатными монокулярными оптико-электронными приборами (ОЭП) робототехнических комплексов при действии в «стае» и повышения вероятности обнаружения и распознавания объектов, уменьшения массы устройства и повышения скрытности ведения разведки объектов противника при определении пространственного положения до объектов (целей) противника.

Цель данного технического решения достигается тем что, для создания объемного стереоскопического 3D-изображения объекта используется зафиксированные изображения объекта с различных точек наблюдения монокулярными ОЭП различных радиотехнических систем (РТС), (расстояние между РТК представляет стереоскопическую базу наблюдения), которые подаются через блок вывода информации в центр управления «роем» РТК в котором изображения преобразуются в цифровой вид и поступают в электронный блок предварительной обработки изображений, где проводится анализ цифрового вида каждого изображения и наложение цифрового изображения объекта на изображение с соседнего ОЭП РТК, определяемой величиной стереоскопической базы, при этом дальнейшее определение характеристик объекта выполняется с помощью процессора анализа и обработки изображений, осуществляющего передачу данных об объекте по каналу передачи данных на вышестоящее устройство обработки и представления информации.

Недостатками данной системы являются:

выполнение функций распознавания на централизованном сервере;

отсутствие возможности доступа к результатам распознавания для РТК используемых для получения изображений объектов;

отсутствие возможности распознавания нескольких объектов на одном изображении;

отсутствие механизма контроля и управления функционированием программного обеспечения, реализующего распознавание объектов при недостаточном вычислительном ресурсе и «зависании».

Прототип не позволяет ускорить выполнение задачи распознавания одним РТК, за счет использования ресурсов другого РТК с контролем работоспособности используемого программного обеспечения.

Таким образом, из уровня техники не известны подходы решения задач технического зрения группой РТК в интересах одного РТК, столкнувшегося с недостатком собственной производительности бортовых вычислительных устройств.

Проведенный анализ уровня аналогов позволил установить, что Способ параллельной распределенной работы группы робототехнических комплексов при решении задачи распознавания множества объектов на цифровых изображениях, характеризующийся совокупностями признаков, соответствует условию патентоспособности «Новизна».

Технический результат предлагаемого способа заключается в параллельной распределенной работе группы РТК при решении задачи распознавания множества объектов на цифровых изображениях в целях повышения оперативности распознавания объектов на РТК функционирующих в условиях недостатка производительности для реализации функций технического зрения при ориентации в пространстве.

Задача, которую решает предлагаемый способ, заключается в уменьшении времени распознавания объектов (размер, цвет, форма, тип, наименование и др. в зависимости от требуемых задач ориентации в пространстве) на цифровых изображениях с камер за счет перераспределения вычислительных задач по незадействованным в текущий момент РТК, при этом: осуществляется контроль работоспособности элементов программного обеспечения и управление перезапуском при «зависании».

Для решения заявленной задачи предлагается Способ параллельной распределенной работы группы робототехнических комплексов при решении задачи распознавания множества объектов на цифровых изображениях, заключающийся в том, что:

1. Задают конфигурацию работы сторожевого таймера и счетчика перезапусков в конфигурационном файле на каждом РТК из состава группы, вводя значения частоты срабатывания сторожевого таймера, числа срабатываний до перезапуска программы и числа перезапусков за одну секунду любой из программ до перезапуска операционной системы.

При этом рассматривается группа РТК любого базирования обеспеченная между собой каналами связи.

2. Обеспечивают двухстороннюю связь между РТК группы.

3. Запускают операционные системы каждого РТК группы.

4. Считывают конфигурационный файл на каждом из РТК.

5. Запускают на каждом из РТК программу контроля задействования вычислительных ресурсов.

6. Непрерывно обмениваются данными о задействовании вычислительных ресурсов между РТК группы.

При этом в качестве вычислительного ресурса считают производительность центрального процессора или процессоров.

7. Запускают на каждом из РТК программу чтения изображений с камеры и непрерывно получают цифровые изображения с камер установленных на РТК.

8. Обнаруживают программным образом с использованием библиотек компьютерного зрения отдельные объекты на изображениях, полученных с камеры РТК.

При этом под выделением объектов на изображении понимается получение цифрового изображения, являющегося фрагментом исходного изображения и содержащего найденный объект.

9. Запускают экземпляры программы распознавания объектов на изображении по числу найденных объектов на РТК источнике изображений в пределах имеющейся собственной производительности и на других наименее нагруженных РТК группы при нехватке собственной производительности и наличии свободного ресурса у других РТК, передавая в каждый экземпляр программы распознавания цифровое изображение обнаруженного объекта.

10. Запускают сторожевые таймеры для каждого экземпляра запущенной программы обнаружения и программы распознавания отдельных объектов на изображении с заданным в конфигурационном файле временем срабатывания и числом срабатываний до перезапуска.

При этом сторожевые таймеры выполняются в виде отдельной программы, взаимодействующей с предназначаемыми для его контроля программой обнаружения или программой распознавания отдельных объектов на изображении.

11. Распознают найденные на изображении с камеры РТК объекты в параллельном распределенном режиме с использованием всего имеющегося вычислительного ресурса группы РТК.

12. Собирают информацию о распознанных объектах на РТК источнике изображения.

При этом при распознавании объектов могут определять различные параметры, например, такие как: размер, цвет, форма, тип, наименование и др. в зависимости от требуемых задач ориентации в пространстве, а состав параметров не влияет на реализацию заявленного способа.

13. Сбрасывают значения счетчика срабатываний сторожевых таймеров контролируемыми ими программами обнаружения и распознавания объектов с заданной в конфигурационном файле периодичностью.

14. Перезапускают те программы обнаружения и распознавания объектов для которых превышено число срабатываний сторожевого таймера, заданное в конфигурационном файле.

Превышение числа срабатываний сторожевого таймера означает отсутствие его периодического сброса и «зависании», сбрасывающей программы обнаружения или распознавания объектов которую он контролирует.

15. Считают программным способом число перезапусков за одну секунду для каждой запущенной в группе РТК программы обнаружения и распознавания объектов.

16. Перезапускают операционную систему РТК при превышении числа перезапусков заданного в конфигурационном файле за одну секунду для любой из его программ обнаружения или распознавания объектов.

«Промышленная применимость» способа обусловлена наличием возможности реализовать его на штатных бортовых вычислительных устройствах за счет внедрения специализированного программного обеспечения реализующего функции обмена данными по имеющимся каналам двухсторонней связи и их обработку.

Сопоставление заявленного Способа параллельной распределенной работы группы робототехнических комплексов при решении задачи распознавания множества объектов на цифровых изображениях и прототипа показывает, что заявленный способ существенно отличается от прототипа.

Общие признаки заявляемого способа и прототипа:

1. Непрерывно получают цифровые изображения с камер установленных на РТК.

2. Распознают объекты, найденные на изображении с камеры РТК.

Отличительные признаки предлагаемого решения:

1. Обеспечивают двухстороннюю связь между группой РТК.

2. Непрерывно обмениваются данными о задействовании вычислительных ресурсов.

3. Используют сторожевые таймеры для обнаружения «зависания» программного обеспечения РТК.

4. Распределяют задачи распознавания объектов по РТК группы со свободным ресурсом производительности.

5. Перезапускают программное обеспечение РТК, используемое для обнаружения или распознавания объектов на изображении, при его «зависании».

6. Перезапускают операционную систему РТК при множественном неудачном перезапуске программного обеспечения, используемого для обнаружения или распознавания объектов на изображении.

7. Собирают информацию о распознанных объектах на РТК источнике изображения.

Таким образом, заявленный Способ параллельной распределенной работы группы робототехнических комплексов при решении задачи распознавания множества объектов на цифровых изображениях, позволяет за счет использования всей имеющейся производительности группы РТК обеспечить повышение оперативности решения задач по обнаружению и распознаванию объектов на изображении при ориентации в пространстве РТК испытывающего дефицит вычислительных ресурсов, а также обеспечить автоматический перезапуск программного обеспечения в случае сбоев в его работе.

Результаты поиска известных решений [1-8] в данной и смежной областях техники с целью выявления признаков, совпадающих с отличительными от

прототипов признаками заявляемого изобретения, показали, что они не следуют явным образом из уровня техники. Из определенного уровня техники не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «Изобретательский уровень».

ИСТОЧНИКИ ИНФОРМАЦИИ

1. RU 2331101 C1, опубликован 10.08.2008.

2. RU 2789117 C2, опубликован 30.01.2023.

3. RU 2658684 С1, опубликован 22.06.2018.

4. RU 2737231 С1, опубликован 26.11.2020.

5. RU 2533229 С2, опубликован 20.11.2014.

6. RU 2677373 С1, опубликован 16.01.2019.

7. RU 2742038 С1, опубликован 02.02.2021.

8 RU 2759003 С1, опубликован 08.11.2021.

Изобретение относится к области вычислительной техники для управления группой робототехнических комплексов (РТК) при совместном решении задач технического зрения. Технический результат заключается в повышении быстродействия систем распознавания объектов по цифровым изображениям, получаемым РТК в целях своей ориентации в пространстве. Технический результат достигается за счет использования незадействованных вычислительных ресурсов других РТК группы, имеющих двухстороннюю связь с РТК испытывающим недостаток производительности бортовых вычислительных устройств. Способ выполняет распределение вычислительных задач по распознаванию объектов, найденных на цифровом изображении, по бортовым вычислительным устройствам, расположенным на удаленных РТК группы, обеспеченных двухсторонним каналом связи с РТК источником цифровых изображений, на которых он осуществляет обнаружение объектов в режиме реального времени для обеспечения функционирования систем технического зрения. 1 з.п. ф-лы.

1. Способ параллельной распределенной работы группы робототехнических комплексов (РТК) при решении задачи распознавания множества объектов на цифровых изображениях заключающийся в том, что:

- непрерывно получают цифровые изображения с камер, установленных на РТК;

- распознают объекты, найденные на изображении с камеры РТК;

отличающийся тем, что используют группу РТК с возможностью двухсторонней связи между собой, обмениваются данными о задействовании вычислительных ресурсов, для обнаружения «зависания» программного обеспечения РТК используют сторожевые таймеры, распределяют задачи распознавания объектов по РТК группы со свободным ресурсом производительности, перезапускают программное обеспечение РТК при его «зависании», перезапускают операционную систему РТК при множественном неудачном перезапуске программного обеспечения, собирают информацию о распознанных объектах на РТК источнике изображения, а также тем, что:

- перед запуском операционной системы РТК группы задают конфигурацию работы сторожевого таймера и счетчика перезапусков в конфигурационном файле на каждом РТК из состава группы, вводя значения частоты срабатывания сторожевого таймера, числа срабатываний до перезапуска программы и числа перезапусков за одну секунду любой из программ до перезапуска операционной системы;

- обеспечивают двухстороннюю связь между РТК группы;

- запускают операционные системы каждого РТК группы;

- после запуска операционной системы РТК считывают конфигурационный файл на каждом из РТК, запускают на каждом из РТК программу контроля задействования вычислительных ресурсов и запускают на каждом из РТК программу чтения изображений с камеры;

- после запуска программы контроля задействования вычислительных ресурсов непрерывно обмениваются данными о задействовании вычислительных ресурсов между РТК группы по каналам двухсторонней связи;

- после запуска программы чтения изображений с камеры непрерывно получают на каждом РТК цифровые изображения с установленных камер и обнаруживают программным образом с использованием библиотек компьютерного зрения отдельные объекты на изображениях;

- после обнаружения объектов на изображении запускают экземпляры программы распознавания объектов на изображении по числу найденных объектов на РТК источнике изображений в пределах имеющейся собственной производительности и на других наименее нагруженных РТК группы при нехватке собственной производительности и наличии свободного ресурса у других РТК, передавая в каждый экземпляр программы распознавания цифровое изображение обнаруженного объекта;

- запускают сторожевые таймеры для каждого экземпляра запущенной программы обнаружения и программы распознавания отдельных объектов на изображении с заданным в конфигурационном файле временем срабатывания и числом срабатываний до перезапуска;

- в процессе работы программ обнаружения и программ распознавания объектов на изображении, сбрасывают значения счетчика срабатываний соответствующих им сторожевых таймеров с заданной в конфигурационном файле периодичностью, перезапускают те программы обнаружения и распознавания объектов, для которых превышено число срабатываний сторожевого таймера, считают программным способом число перезапусков за одну секунду для каждой запущенной в группе РТК программы обнаружения и распознавания объектов, перезапускают операционную систему РТК при превышении числа перезапусков за одну секунду для любой из его программ обнаружения или распознавания объектов.

2. Способ по п. 1, в котором в качестве РТК могут использоваться роботы наземного, морского или воздушного базирования.