Способ автоматического анализа визуальных данных и интеллектуальная портативная видеосистема для его реализации Российский патент 2023 года по МПК G06V10/70 

Изобретение относится к области вычислительной техники и системам обработки изображений, а именно к средствам регистрации и обработки видеоизображений в системах контроля безопасности промышленных и иных объектов. Целью изобретения является обеспечение непрерывного автоматического контроля наблюдаемого поля изображения и распознавания заданных объектов в портативном (носимом или стационарно размещаемом на экипировке рабочего персонала или стационарно располагаемом в заданном местоположении) видеоустройстве, а также сокращение объема хранимых и передаваемых данных, описывающих объекты рабочей сцены.

Известны метод и устройство для аналитической обработки видеоизображений с подвижных и неподвижных видеокамер (Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras, пат США US10565395B2). Недостатком метода является узкая область применения вследствие распознавания на основе только ассоциированных с человеком объектов и невозможность обучения и дообучения устройства в процессе его работы. Недостатком устройства является отсутствие возможности его работы на движущихся объектах и значительные для размещения на экипировке рабочего габариты.

Известна система видеонаблюдения RU2757802C1. Недостатком системы является ограниченное количество выполняемых по обработке изображений действий, что снижает точность и эффективность работы системы.

Известна телевизионная камера с видеоаналитикой (пат РФ RU208498U). Недостатком телевизионной камеры является отсутствие встроенных аппаратных средств для распознавания объектов и, как следствие, низкое быстродействие.

Известна система множественной идентификации ситуаций для охранного видеонаблюдения (Multiple situation identification system for CCTV cameras, пат. Кореи KR102322772). Система содержит интеллектуальные средства для распознавания ситуаций. Недостатком системы является необходимость использования отдельного сервера для распознавания, а также отсутствие возможности распознавания непосредственно видеокамерой CCTV.

Известна видеокамера видеонаблюдения с искусственным интеллектом (CCTV camera apparatus based on artificial intelligent, пат. Кореи KR102368191B1). Недостатком видеокамеры является отсутствие возможности ее обучения в процессе функционирования и ориентация задач, ею выполняемых, только на пожарную безопасность.

Известна система для предоставления и хранения данных видеонаблюдения (System for providing and storing CCTV video based on customized video layout according to the purpose of CCTV video monitoring for reducing power consumption, пат. Корея KR102239849B1). Недостатком системы является невозможность обработки видеоданных в реальном времени и необходимость применения отдельного компьютера-сервера для обработки.

Наиболее близким к заявляемому является устройство для видеонаблюдения CCTV one body type smart street light based on artificial intelligence, Пат. Корея, KR102310845B1, обеспечивающее на основе искусственного интеллекта подстройку условий съемки для уличного видеонаблюдения, а также распознавание объектов. Недостатком устройства является низкая скорость обработки данных вследствие необходимости передачи данных в центр обработки, отсутствие возможности адаптивного дообучения в процессе работы.

Наиболее близким является способ видеонаблюдения на основе искусственного интеллекта, пат. Корея KR101995107B1 An artificial intelligence based video surveillance method and system using deep learning. Недостатком способа является низкая скорость обработки данных и необходимости передачи данных в вышестоящий сервер или иное вычислительной устройство для обработки.

Задачей изобретения является реализация обработки непрерывного потока видеоданных в едином автономном вычислительном средстве с целью автоматического в реальном времени распознавания, формирования семантического малого по объему данных описания находящихся объектов в поле видеонаблюдения и автоматизированного дообучения для определения нераспознанных объектов.

Технической задачей изобретения является:

- создание портативной видеосистемы видеорегистрации со встроенной функцией искусственного интеллекта на основе нейронных сетей и методов компьютерного зрения для реализации интеллектуального анализа данных и повышения качества и количества получаемой из изображения рабочей сцены информации;

- формирование семантических информационных описаний рабочей сцены в реальном времени в данной заявляемой портативной видеосистемы без привлечения внешних вычислительных средств,

- снижение объема передаваемых данных в случае трансляции с заявляемого устройства потока данных во внешнюю систему за счет интеллектуального архивирования извлеченных данных и передачи только информативных сообщений-описаний (а не всего необработанного потока изображений).

Сущность изобретения поясняется чертежами, где на фиг. 1 - показана структурно-функциональная схема предлагаемой портативной видсистемы, на фиг. 2 вариант аппаратной реализации блока нейронной сети, на фиг. 3 - алгоритм функционирования портативной видеосистемы, на фиг. 4 пример распознавания кадра изображений, на котором не все объекты распознаны, но все сегментированы, на фиг. 5 пример кадра изображения, где все объекты сегментированы и все распознаны, на фиг. 6 фотография заявляемой портативной видеосистемы, закрепленной на защитной каске.

Задача решается тем, что в известный способ видеонаблюдения на основе искусственного интеллекта (представленный в патенте Кореи KR101995107B1), содержащий, непрерывное получение видеоизображений, автоматическую подстройку параметров экспозиции и чувствительности к заданным условиям съемки, передачу полученного изображения в вышестоящую систему обработки,

введены

интеллектуальная обработка полученных видеоданных,

сохранение видеопотока в виде совокупности видеофайлов, отдельных изображений и семантических текстовых описаний в локальной энергонезависмой памяти,

накопление кадров для увеличения яркости затемненных участков изображения,

расширение динамического диапазона яркости изображения,

сегментацию изображения на различные объекты,

распознавание объектов на изображении,

автоматическую оценку необходимости дообучения для увеличения количества классов распознаваемых объектов,

дообучение новым классам распознаваемых объектов,

формирование компактного семантического описания объектов на изображении,

передачу компактного семантического описания объектов в вышестоящую систему обработки,

выдачу информационных сообщений.

Техническая задача решается тем, что в известное устройство видеонаблюдения (патент Кореи KR102310845B), содержащее приемник изображения, объектив, введены

регистровое ОЗУ, сумматор, модуль адаптации изображения, флеш-память, USB порт, wi-fi коммуникатор с антенной, модуль коммуникации сотовой сети, первое процессорное ядро, второе процессорное ядро, первая нейронная сеть, вторая нейронная сеть, контроллер аккумулятора, аккумулятор, ОЗУ, модуль информирования, первая системная шина,

первая и вторая нейронные сеть аппаратно построены по единой архитектуре и содержат вторую, третью, четвертую системные шины, первую … q-ю шины данных, контроллер-арбитр, модуль конфигурации, первый ... q-n-ый сумматоры, первый ... q-n-ый компараторы,

причём объектив обеспечивает фокусирование изображения рабочей сцены на приемник изображения, вход приемника изображения подключен к выходу модуля адаптации изображения, выход приемника изображения подключен к первому входу модуля адаптации изображения и входу регистрового ОЗУ, выход регистрового ОЗУ подключен к входу сумматора, выход сумматора подключен к второму входу модуля адаптации изображения, вход-выход модуля адаптации изображения подключен к первому входу выходу первой системной шины, вход-выход флеш-памяти подключен к третьему входу выходу первой системной шины, первый вход-выход USB порта подключен к четвертому входу выходу первой системной шины, второй вход-выход usb-порта является внешним входом-выходом устройства, вход-выход wi-fi коммуникатора с антенной подключен к седьмому входу выходу первой системной шины, вход-выход модуля коммуникации сотовой сети подключен к девятому входу выходу первой системной шины, второй вход-выход первой системной шины подключен к первому входу выходу первого процессорного ядра, второй вход-выход первого процессорного ядра подключен к входу выходу первой нейронной сети, пятый вход-выход первой системной шины подключен к первому входу выходу второго процессорного ядра, второй вход-выход второго процессорного ядра подключен к входу выходу второй нейронной сети, шестой вход-выход первой системной шины подключен к входу-выходу контроллера аккумулятора, вход контроллера аккумулятора подключен к выходу аккумулятора, восьмой вход-выход первой системной шины подключен к входу выходу ОЗУ, выход первой системной шины подключен к входу модуля информирования,

первый вход-выход второй системной шины является входом-выходом нейронной сети, второй вход-выход второй системной шины подключен контроллеру арбитру, первый выход второй системной шины подключен к входу модуля конфигурации, выход модуля конфигурации подключен ко второму входу третьей системной шины, второй выход второй системной шины подключен к первому входу третьей системной шины,

первый выход третьей системный шины подключен к первому входу первого компаратора, второй выход третьей системной шины подключён к первому входу первого сумматора, выход первого сумматора подключен ко второму входу первого компаратора, выход первого компаратора подключен к первому входу первой шины данных, третий выход третьей системной шины 31 подключён ко второму входу первого сумматора,

3n-ый выход третьей системный шины подключен к первому входу n-го компаратора, (3n+1)-ый выход третьей системной шины подключён к первому входу n-го сумматора, выход n-го сумматора подключен ко второму входу n-го компаратора, выход n-го компаратора подключен к n-му входу первой шины данных, (3n+2)-й выход третьей системной шины подключён ко второму входу n-го сумматора,

первый выход первой шины данных подключен к первому входу второго-первого компаратора, второй выход первой шины данных подключён к первому входу второго-первого сумматора, выход второго-первого сумматора подключен ко второму входу второго-первого компаратора, выход второго-первого компаратора подключен к первому входу второй шины данных, третий выход первой шины данных подключён ко второму входу второго-первого сумматора,

3n-й выход первой шины данных подключен к первому входу второго-n-го компаратора, (3n+1)-ый выход первой шины данных подключён к первому входу второго-n-го сумматора, выход второго-n-го сумматора подключен ко второму входу второго-n-го компаратора, выход второго-n-го компаратора подключен к n-му входу второй шины данных, третий выход первой шины данных подключён ко второму входу второго-n-го сумматора,

первый выход q-ой шины данных подключен к первому входу q-первого компаратора, второй выход q-ой шины данных подключён к первому входу q-первого сумматора, выход q-первого сумматора подключен ко второму входу q-первого компаратора, выход q-первого компаратора подключен к первому входу четвертой системной шины, третий выход q-й шины данных подключён ко второму входу q-первого сумматора,

3n-й выход q-ой шины данных подключен к первому входу q-n-го компаратора, (3n+1)-ый выход q-ой шины данных подключён к первому входу q-n-го сумматора, выход q-n-го сумматора подключен ко второму входу q-n-го компаратора, выход q-n-го компаратора подключен к n-му входу четвертой системной шины, третий выход q-ой шины данных подключён ко второму входу q-n-го сумматора,

выход четвертой системной шины подключен к входу второй системной шины.

Рассмотрим заявленные способ интеллектуальной регистрации событий и анализа визуальных данных и интеллектуальную портативная видеосистема для его реализации.

Интеллектуальная портативная видеосистема содержит объектив 1, приёмник изображения 2, регистровое ОЗУ 3, сумматор 9, модуль адаптации изображения 4, флеш-память 10, USB порт 13, wi-fi коммуникатор с антенной 14, первое процессорное ядро 5, второе процессорное ядро 7, первую нейронная сеть 6, вторую нейронная сеть 8, контроллер аккумулятора 11, аккумулятор 12, ОЗУ 15, модуль информирования 16, первую системную шину 20,

первая и вторая нейронные сеть аппаратно построены по единой архитектуре и содержат вторую 21, третью 31, четвертую 32 системные шины, , первую 35.1 … q-ю 35.q шины данных, контроллер-арбитр 22, модуль конфигурации 23, первый 33.1.1 ... q-n-ый 33.q.n сумматоры, первый 34.1.1 ... q-n-ый 34.q.n компараторы,

причём объектив 1 обеспечивает фокусирование изображения рабочей сцены на приемник изображения 2, вход приемника изображения 2 подключен к выходу модуля адаптации изображения 4, выход приемника изображения 2 подключен к первому входу модуля адаптации изображения 4 и входу регистрового ОЗУ 3 , выход регистрового ОЗУ 3 подключен к входу сумматора 9, выход сумматора 9 подключен к второму входу модуля адаптации изображения 4, вход-выход модуля адаптации изображения 4 подключен к первому входу выходу первой системной шины 20, вход-выход флеш-памяти 10 подключен к третьему входу выходу первой системной шины 20, первый вход-выход USB порта 13 подключен к четвертому входу выходу первой системной шины 20, второй вход-выход usb-порта 13 является внешним входом-выходом устройсва, вход-выход wi-fi коммуникатора с антенной 14 подключен к седьмому входу выходу первой системной шины 20, вход-выход модуля коммуникации сотовой сети 17 подключен к девятому входу выходу первой системной шины 20, второй вход-выход первой системной шины 20 подключен к первому входу выходу первого процессорного ядра 5, второй вход-выход первого процессорного ядра 5 подключен к входу выходу первой нейронной сети 6, пятый вход-выход первой системной шины 20 подключен к первому входу выходу второго процессорного ядра 7, второй вход-выход второго процессорного ядра 7 подключен к входу выходу второй нейронной сети 8, шестой вход-выход первой системной шины 20 подключен к входу-выходу контроллера аккумулятора 11, вход контроллера аккумулятора 11 подключен к выходу аккумулятора 12, восьмой вход-выход первой системной шины 20 подключен к входу выходу ОЗУ 15, выход первой системной шины 20 подключен к входу модуля информирования 16,

первый вход-выход второй системной шины 21 является входом-выходом нейронной сети, второй вход-выход второй системной шины 21 подключен контроллеру арбитру 22 , первый выход второй системной шины 21 подключен к входу модуля конфигурации 23, выход модуля конфигурации 23 подключен ко второму входу третьей системной шины 31 , второй выход второй системной шины 21 подключен к первому входу третьей системной шины 31,

первый выход третьей системный шины 31 подключен к первому входу первого компаратора 34.1.1, второй выход третьей системной шины 31 подключён к первому входу первого сумматора 33.1.1, выход первого сумматора 33.1.1 подключен ко второму входу первого компаратора 34.1.1, выход первого компаратора 34.1.1 подключен к первому входу первой шины данных 35.1, третий выход третьей системной шины 31 подключён ко второму входу первого сумматора 33.1.1,

3n-ый выход третьей системный шины 31 подключен к первому входу n-го компаратора 34.1.n, (3n+1)-ый выход третьей системной шины 31 подключён к первому входу n-го сумматора 33.1.n, выход n-го сумматора 33.1.n подключен ко второму входу n-го компаратора 34.1.n, выход n-го компаратора 34.1.n подключен к n-му входу первой шины данных 35.1, (3n+2)-й выход третьей системной шины 31 подключён ко второму входу n-го сумматора 33.1.n,

первый выход первой шины данных 35.1 подключен к первому входу второго-первого компаратора 34.2.1, второй выход первой шины данных 35.1 подключён к первому входу второго-первого сумматора 33.2.1, выход второго-первого сумматора 33.2.1 подключен ко второму входу второго-первого компаратора 34.2.1, выход второго-первого компаратора 34.2.1 подключен к первому входу второй шины данных 35.2, третий выход первой шины данных 35 подключён ко второму входу второго-первого сумматора 33.2.1,

3n-й выход первой шины данных 35.1 подключен к первому входу второго-n-го компаратора 34.2.n, (3n+1)-ый выход первой шины данных 35.1 подключён к первому входу второго-n-го сумматора 33.2.n, выход второго-n-го сумматора 33.2.n подключен ко второму входу второго-n-го компаратора 34.2.n, выход второго-n-го компаратора 34.2.n подключен к n-му входу второй шины данных 35.2, третий выход первой шины данных 35.1 подключён ко второму входу второго-n-го сумматора 33.2.n,

первый выход q-ой шины данных 35.q подключен к первому входу q-первого компаратора 34.q.1, второй выход q-ой шины данных 35.q подключён к первому входу q-первого сумматора 33.q.1, выход q-первого сумматора 33.q.1 подключен ко второму входу q-первого компаратора 34.q.1, выход q-первого компаратора 34.q.1 подключен к первому входу четвертой системной шины 32, третий выход q-й шины данных 35.q подключён ко второму входу q-первого сумматора 33.2.1,

3n-й выход q-ой шины данных 35.q подключен к первому входу q-n-го компаратора 34.q.n, (3n+1)-ый выход q-ой шины данных 35.q подключён к первому входу q-n-го сумматора 33.q.n, выход q-n-го сумматора 33.q.n подключен ко второму входу q-n-го компаратора 34.q.n, выход q-n-го компаратора 34.q.n подключен к n-му входу четвертой системной шины 32, третий выход q-ой шины данных 35.q подключён ко второму входу q-n-го сумматора 33.q.n,

выход четвертой системной шины 32 подключен к входу второй системной шины 21.

Интеллектуальная портативная видеосистема работает следующим образом. Заявляемую интеллектуальную портативную видеосистему закрепляют на экипировке или защитной каске рабочего или располагают стационарно на треноге или ином неподвижном объекте.

До начала работы в портативную видеосистему загружают эталонные описания объектов, требующих автоматического распознавания и регистрации в процессе функционирования портативной видеосистемы, а также загружают архитектуру и параметры работы первой 6 и второй 8 нейронных сетей. Загрузка указанных данных производится через второй вход-выход usb-порта 13, который выполняет прием и преобразование данных в требуемый формат и далее со своего первого входа-выхода usb-порта 13 указанные данные поступают на четвертый вход-выход первой системной шины 20 и далее в первое 5 и второе 7 процессорные ядра. Данные на второй вход-выход usb-порта 13 при этом поступают с внешнего носителя информации, например, внешнего flash-носителя.

С аппаратной точки зрения первая 6 и вторая 8 нейронные сети представляют собой программируемые логические интегральные схемы (ПЛИС) с логической ёмкостью, достаточной для размещения архитектур нейронных сетей. Подобные архитектурные аппаратные решения представлены и на сайте производителя ПЛИС [https://www.xilinx.com/applications/megatrends/machine-learning.html] и в различной научной и инженерной литературе [https://www.xilinx.com/publications/events/machine-learning-live/colorado/HotChipsOverview.pdf, https://www.bittware.com/resources/cnn/, https://ieeexplore.ieee.org/document/9178685, https://arxiv.org/abs/2103.05600].

Рассмотрим модули первой 6 и второй 8 нейронной сетей более подробно. Оба модуля с аппаратной (но не функциональной) точки зрения построены идентично и физически представляют собой программируемые логические интегральные схемы с заданными связями элементов, фиг. 2. Как известно для обработки изображений наиболее целесообразно применять сверточные нейронные сети. В частности, в данном изобретении первая нейросеть 6 может быть построена по архитектуре mask-r-cnn [https://github.com/matterport/Mask_RCNN, https://arxiv.org/abs/1703.06870] и выполняет сегментацию изображений, вторая нейросеть 8 может использовать архитектуру yolo версии 5 [https://github.com/ultralytics/yolov5, https://arxiv.org/pdf/2104.13634.pdf]. Известно, что основным элементарным элементом нейронной сети является, так называемый, нейрон, который с аппаратной точки зрения в элементарном варианте представляет собой сумматор с компаратором порогового значения (так называемого значения «активации» нейрона) на его выходе [https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53, https://mission-embedded.com/wp-content/uploads/2020/11/ME_Stelleninserat_Master_FPGA_EN.pdf]. Нейронная сеть представляет собой совокупность, так называемых, слоёв, где в каждом слое параллельно расположено множество сумматоров с компараторами, а выход каждого компаратора подключён заданным входам сумматоров следующего слоя. Процесс обучения нейронной сети не выполняется в рассматриваемом устройстве. Процесс обучения будет рассмотрен ниже и выполняется во внешнем вычислительном устройстве и хорошо описан в литературе и открытых интернет-ресурсах и реализован на различных языках программирования. Обучение с точки зрения конечного результата представляет собой настройку связей и весов, которые затем записываются в файл данных, этот файл данных затем загружается в заявляемую портативную видеосистему, после загрузки файла формируется заданные связи и заданные параметры весов между сумматорами и компараторами внутри первой 6 и второй 8 неронных сетей. Так как заявляемая портативная видеосистемы не реализует внутри себя обучение, то нас интересуют только развертывание нейронной сети по обученной нами архитектуре. Рассмотрим развертывание (конфигурирование) первой 6 и второй 8 нейронные сетей на примере развертывания первой 6 нейронной сети (вторая нейронная сеть 8 конфигурируется идентичным образом). Как отмечено, нейронная сеть - это совокупность связей между элементарными вычислительными элементами (в нашем случае между первым 33.1.1 ... q-n-ым 33.q.n сумматорами, первым 34.1.1 ... q-n-ым 34.q.n компараторами) и параметров определяющих их выходные пороговые значения для активации. Таким образом, с аппаратной точки зрения структура и параметры нейронной сеть представляет собой файл загрузки ПЛИС, определяющей конфигурацию ПЛИС, и набор весовых коэффициентов, определяющих программно задаваемые свойства аппаратной части первой 6 и второй 8 нейросетей. Конфигурирование заявленного устройства для реализации функций искусственного интеллекта посредством сегментации изображения и распознавания объектов состоит в следующем. Так как обучение нейросети и следовательно определение её архитектуры и параметров производится на внешнем вычислительном средстве, то для загрузки архитектуры нейросети необходимо преобразовать её формат в формат, применяемых для конфигурирования ПЛИС. Для этого получив от внешнего источника через второй вход выход и USB порта 13 через первую системную шину 20 на свой первый вход-выход первое процессорное ядро 5 преобразует заданным образом в конфигурацию ПЛИС структуру и параметры первой 6 искусственной нейронной сети в формат данных, соответствующий конфигурационном файлу ПЛИС и передаёт со своего второго входа-выхода сформированный конфигурационный файл на вход-выход первой нейронной сети 6. Через первый вход-выход системной шины 21 (фиг. 2) данные файла конфигурации со структурой первой 6 нейронной сети поступают через второй вход-выход второй системной шины 21 в контроллер арбитр 22. Контроллер арбитр дает команду через свой вход-выход, второй вход-выход второй системной шины 21 и первый выход второй системной шины 21 на вход модуля конфигурации 23 о необходимости конфигурирования. Модуль конфигурации 23 считывает поступающие данные через свой вход с первого выхода системной щины 21 и производит конфигурацию связей, весов и иных необходимых параметров. Процессы работы модуля конфигурации 23 и происходящие при этом процессы в программируемой логической схеме представлены в документации производителей программируемых интегральных логических схем; нас интересует только то, что в результате работы модуля конфигурации 23 структура программируемой логической интегральной схемы и, как следствие, структура нейросети являются сконфигурированными и готовыми к работе. Модуль конфигурации 23 конструктивно может быть как расположен на одном кристалле вместе с остальными элементами, так и являться отдельным элементом. В результате первая нейронная сеть 6 готова к работе и выполнению сегментации входных изображений.

Аналогичным образом конфигурируется вторая нейронная сеть 8: второе процессорное ядро 7 получив данные через USB порт 13 о конфигурации второй нейронной сети 8 через первую системную шину 20 считывает данные о конфигурации из USB порта 13 и получает их на свой первый вход-выход. Второе процессорное ядро 7 преобразует полученные данные в формат загрузочных данных и загружает данный файл через свой второй вход-выход на вход-выход второй нейронной сети 8. Вторая нейронная сеть 8 инициализирует процесс собственной конфигурации и загружает файл конфигурации, полученный от второго процессорного ядра 7. В результате после завершения конфигурации вторая нейронная сеть 8 готова к работе и распознаванию объектов.

Как указано выше – первая нейронная сеть 6, это сеть выполняющая сегментацию, т.е. разбиение на отдельные площадные объекты, поступающих изображений, вторая нейронная сеть 8 – это сеть выполняющая распознавание объектов.

Наряду со структурой первой 6 и второй 8 нейросетей поступают через USB порт 13 данные о параметрах работы, которые записываются через восьмой вход-выход первой системной шины 20 в ОЗУ 15.

Рассмотрим более подробно процессы, происходящие при конфигурировании первой 6 и второй 8 нейронной сети. Так как до конфигурирования аппаратно структуры нейросетей идентичны, то рассмотрим на примере первой нейросети 6. При конфигурировании на первый вход второй системной шины 21, который является внешним входом-выходом нейросети, поступает конфигурационный файл от внешнего источника данных, подключаемого к второму входу-выходу usb-порта 13. Получив вместе с данными конфигурации от первого процессорного ядра 5 команду на конфигурацию, контроллер-арбитр 22 дает команду модулю конфигурации 23 на программирование и инициализацию связей между блоками 31…35 в совокупности компонентов, определяющих структуру и параметры нейросети.

Блоки 33.1.1…33.q.n – сумматоры, где индекс 1..q определяет слой нейросети, а индекс 1..n определяет индекс сумматора в каждом слое. Блоки 34.1.1…34.q.n – компараторы, где индексы идентичны индексам сумматоров 33.1.1…33.q.n. Блоки 31, 32,– третья, четвертая системные шины, блоки 35.1…35.q – первая … q-я шины данных.

Данные о структуре и параметрах нейросети с первого входа-выхода второй системной шины 21 через вторую системную шину 21 с ее первого выхода поступают в модуль конфигурации 23. Модуль конфигурации 23 со своего выхода посредством передачи соотвествующих данных, полученных из данных о структуре и параметрах нейрости производит задание (формирование) соотвествующих связей, параметров, весов между блоками 31…35. В результате сформирована структура и параметры нейросети. После этого первая нейросеть 6 готова к работе. Аналогично конфигурируется вторая нейросеть 8.

В основном режиме заявленная портативная видеосистема работает следующим образом.

Объектив 1 фокусирует изображение рабочие цены на приёмник изображения 2. С выхода приемника изображения 2 каждый кадр изображения поступает на первый вход модуль адаптации изображения 4. Модуль адаптации изображения 4 оценивает яркость изображения и подаёт команду приемнику изображения 2 со своего выхода на его вход в случае необходимости изменения чувствительности приемника изображения 2 и его экспозиции. Одновременно с этим каждый кадр изображения поступает с выхода приемника изображения 2 и записывается в регистровое ОЗУ 3, которое запоминает и формирует серию из нескольких (где количество определяется степенью затемнения исходного изображения, варьируется в диапазоне от 3 до 9 и, как правило, выбирается модулем адаптации 4 равным 5) пришедших кадров и с выхода которого серия из n последних кадров поступает на сумматор 9. Сумматор 9 производит суммирование этих кадров, тем самым увеличивая суммарную экспозицию кадра и замещает темные участки исходного изображения более светлыми, в результате формируя из затемненного изображения более светлое изображение. С выхода сумматора 9 обработанные таким образом кадры изображения поступают на второй вход модуль адаптации изображения 4. Модуль адаптации изображения 4 при необходимости заменяет на исходном кадре в тёмные области изображения полученным изображением с увеличенной яркостью, таким образом обеспечивается расширение динамического диапазона изображения в тёмных областях. Очевидно, в этом случае может наблюдаться смаз изображения в тёмных областях при наличии в них движущихся объектов, однако это не является критичным для большинства задач в области строительства и безопасности вследствие отсутствия критичных быстродвижущихся объектов в поле наблюдения. С выхода модуля адаптации изображения 4 через первый вход-выход первой системной шиной 20 и далее через 8 вход-выход первой системной шины 20 очередной кадр изображения записывается в ОЗУ 15.

Далее по завершении получения очередного кадра соответствующие модули заявленной портативной видеосистемы переходят к его обработке, что описано ниже, а приемник изображения 2, модуль адаптации изображения 4, регистровое ОЗУ 3 и сумматор 9 реализуют рассмотренным выше образом получение и обработку следующего кадра и запись его в ОЗУ 15.

По завершении записи очередного кадра первое процессорное ядро 5 извлекает очередной кадр изображения из ОЗУ 15 и через свой второй вход-выход продает его на первую нейронную сеть 6. Первая неровная сеть 6 выполняет в реальном времени за счет аппаратной реализации структуры нейрости сегментацию изображения и отмечает на изображение сегменты, соответствующие различным объектам, где каждый сегмент представляется в виде маски, определяющий принадлежность пикселей объекту, фиг. 4, 5.

Первая нейросеть 6 работает следующим образом. Контроллер-арбитр 22 (фиг. 2) переводит нейросеть в режим основной работы (а не режим конфигурирования, что было рассмотрено выше). Обрабатываемое входное изображение поступает на первый вход-выход второй системной шины 21 и по команде контроллера-арбитра 22 через второй выход второй системной шины 21 поступает далее на первый вход второй системной шины 31, с выхода системной шины 31 изображение поступает через выходы 1, 2, 3…3n, 3n+1, 3.n+2 на первый и второй входы первого-первого 33.1.1 сумматора, первый и второй входы первого-n-го сумматора 33.1.n, первые входы первого-первого и первого-n-го компараторов 34.1.1, 34.1.n. Сумматоры 33.1.1...33.1.n выполняют суммирование согласно заданным весам, а компараторы 34.1.1..34.1.n в соответствии с заданным порогом сравнивают полученные суммы и при превышении порогового значения, формируют на своем выходе соответствующее значение, подавая его на первый .. n-ый входы первой шины данных 35.1. В свою очередь в следующем слое рассматриваемой нейронной сети аналогично предыдущему слою с выходов 1, 2, 3 …3n, 3n+1, 3n+2 первой шины данных 35.1 данные (веса и значения яркостей пикселей) поступают на сумматоры 33.2.1..33.2.n и компараторы 34.2.1..34.2.n. В свою очередь сумматоры 33.2.1..33.2.n и компараторы 34.2.1..34.2.n второго слоя выполняют математические операции, соответствующие их назначению, и на выходах компараторов 34.2.1..34.2.n формируются выходные значение второго слоя, которые поступают на следующую вторую шину данных 35.2, с выхода которой данные далее поступают на аналогичные сумматоры и компараторы следующего слоя. Такой процесс обработки данных повторяется в каждом очередном слое первой нейронной сети 6 вплоть до финального q-го слоя. Данные финального q-го слоя с компараторов 34.q.1..34.q.n поступают на 1-й .. n-й входы четвертой системной шины 32 откуда с ее выхода поступают на вход второй системной шины 21 и далее поступают на второй вход-выход первого процессорного ядра 5. В выходном финальном слое первой нейросети 6 формируется найденные маски, соответствующие объекту и классу объекта при его распознавании, которые и являются результатом сегментации. В результате изображение разбивается первой нейронной сетью 6 на отдельные площадные сегменты (фиг. 4, 5). Каждый найденный первой нейронной сетью 6 сегмент также может содержать вычисленный этой же первой нейронной сетью 6 класс объекта, если этот класс был заложен при обучении.

Одновременно с этим вычисления выполняет вторая нейронная сеть 8. Вторая нейронная сеть 8 функционирует аналогичным образом первой нейронной сети 6. На вход второй нейронной сети 8 может в зависимости от задачи поступать а) весь кадр изображения, б) все найденные первой нейронной сетью 6 сегменты по отдельности. В случае а) обеспечивается более высокое качество распознавания объектов, вследствие одновременного использования и классов объектов, вычисленных первой нейросетью 6 и классов, вычисленных второй нейросетью 8, однако увеличиваются требования к быстродействию электронных компонентов первой 6 и второй 8 нейросетей. В случае б) за счет меньшей площади обрабатываемой части изображения реализуется меньшее время обработки при относительно низких требованиях по быстродействию к элементной базе.

Итак, вторая нейронная сеть 8 через второе процессорное ядро 7 получает из ОЗУ 15 через восьмой вход-выход первой системной шины 20 и далее через пятый вход выход первой системной шины 20 на свой первый вход-выход сформированные сегменты первой нейросетью 6, а также весь кадр изображения. Второе процессорное ядро 7 исключает из обработки сегменты, не проходящие пороговые значения по площади и длине периметра и передает их со своего второго входа-выхода на вход-выход второй нейронной сети 8. Исключение из обработки сегментов, не проходящие пороговые значения по площади и длине периметра, предназначено для фильтрации помеховых объектов. Вторая нейронная сеть 8 формирует на своем входе-выходе описанные вокруг каждого объекта прямоугольники и классы найденных объектов.

Таким образом, на данном этапе вычислены: а) классы объектов и сегменты первой нейросетью 6, б) классы объектов второй нейросетью 8. При этом ряд объектов могут быть не распознаны вследствие отсутствия соответсвующих распознаваемых классов при обучении либо низком качестве распознавания при недостаточности данных. Факт, что объект не распознан определяется по факту наличия сегмента на выходе первой нейросети 6, не отнесенного ни к одному из заданных классов ни первой 6, ни второй 8 нейросетями. Для этого второе процессорное ядро 7 сравнивает координаты сегментов и их местоположение, найденное первой нейронной сетью 6 и сравнивает найденные объекты и их распознанные классы второй нейросетью 8 и область (описанный прямоугольник вокруг каждого такого сегмента) помечает, как нераспознанный объект. Объект считается нераспознанным, если есть сегменты, не отнесенные ни к одному классу (см. например, на фиг. 4 сегмент №1, который найден как сегмент, но не распознан как конкретный класс объекта), или результаты распознавания объекта первой 6 и второй 8 нейросетями не совпадают. Каждый нераспознанный объект сохраняется во флэш-памяти 10 для дальнейшего принятия решения о необходимости дообучения для его распознавания или отнесения его к объектам, не представляющим интерес и не требующим обучения. Каждый нераспознанный объект второе процессорное ядро 7 через свой вход-выход и далее через пятый вход-выход первой системной шины 20 и далее через третий вход выход первой системной шины 20 записывает через вход-выход флэш-памяти во флэш-память 10.

Далее второе процессорное ядро 7 формирует финальные данные об объектах, найденных в текущем кадре.

Финальные данные представляют:

- класс найденного объекта,

- координаты центра масс найденного объекта,

- координаты нижней левой и верхней правой вершин описанного прямоугольника вокруг данного объекта,

- параметры получения данного кадра изображения и время его получения.

Таким образом, каждый кадр изображения описывается компактным набором данных, объём которых измеряется в единицах килобайт, тогда как исходные кадры изображения, как правило, составляют единицы мегабайт.

Полученное компактное описание сохраняется в ОЗУ 15 с привязкой к времени получения исходного кадра. Для этого сформированное описание второе процессорное ядро 7 через свой первый вход-выход передает на пятый вход-выход первой системной шины 20 и далее через восьмой вход-выход первой системной шины 20 на вход-выход ОЗУ 15. Одновременно с этим эти же данные аналогичным образом записываются во флэш-память 10 для локального энергонезависимого хранения.

Таким образом, по каждому кадру сформирован следующий набор данных:

- непосредственно сам исходный кадр (с расширенным динамическим диапазоном, если это требуется), назовем эти данные «данные d1»,

- множество найденных в кадре объектов, описываемых распознанным классом объекта (назовем эти данные «данные d2»,), координатами центра масс объекта (назовем эти данные «данные d3.1»), координатами описанного вокруг объекта минимального по размеру прямоугольника (назовем эти данные «данные d3.2»), маской, определяющей массив пикселей кадра, принадлежащих объекту (назовем эти данные «данные d4»).

В зависимости от целевой задачи, от требований по длительности и объему хранимых данных на внешнем носителе и в локальной памяти заявленного устройства, указанные выше данные d1,d2,d3,d4, могут использоваться (сохраняться, передаваться на дальнейшую обработку) либо все сразу, либо лишь часть из них. Минимальный объем данных необходимый для дальнейшей обработки – это данные d1. Это, как отмечено выше, класс объекта и его координаты. Для хранения класса объекта достаточно два байта (это обеспечит более 65000 разных классов, что более, чем достаточно), для его координат и размера достаточно объема v равного

v = (2 байта на одну координату)*(2 координаты x, y)*(2 вершины описанного прямоугольника + 1 точка центра масс) = 12 байт.

Тогда с учетом объема данных о координатах и классе получаем 14 байт на один объект. Если допустить, что количество объектов в кадре варьируется от 10 до 200, и взять, например, среднее значение 100 объектов в кадре, то получим, что один кадр описывается не более, чем 1400 байтами (тогда как исходное изображение описывается единицами мегабайт). Таким образом, очевидно обеспечение многократного снижения объема данных, необходимых для хранения информации о каждом кадре, что позволяет хранить даже в локальной памяти заявленного устройства непрерывную информацию за несколько месяцев. Также преимуществом малого объема информации является низкая нагрузка на передачу данных по сети и возможность множественного (до сотен на один строительный объект) одновременного подключения подобных портативных интеллектуальных видеосистем. Кроме того, подобное описание кадра близко к человеческой интепретации (например, кадр на фиг. 5 может быть описан по результатам распознавания так: бетонная панель, три рабочих в без каски, небезопасная ситуация из-за отсутствия каски, строительный кран, а кадр на фиг. 4 так: рабочий в каске, крюк крана рядом с рабочим, ситуация безопасная) и удобно для дальнейшей обработки от разных источников.

Сформированный набор вычисленных данных по каждому кадру передается через WiFi коммуникатор с антенной 14 и модуль коммуникации сотовой сети 17 во внешнюю систему. Передача потока данных осуществляется следующим образом. Второй процессорный модуль 7 инициирует процесс считывания сформированных данных об объектах из ОЗУ 15. Второе процессорное ядро 7 запрашивает через восьмой вход-выход первой системной шины 20 из ОЗУ 15 данные об объектах кадра и передаёт их через первую системную шину 20 и ее седьмой вход-выход на вход-выход Wi-Fi коммуникатора с антенной 14, а также на девятый вход-выход модуля коммуникации сотовой сети 17. Wi-fi коммуникатор с антенной 14 инициализирует по заданному протоколу запрос на передачу данных в вышестоящую систему и передаёт полученные данные посредством радиоканала. Модуль сотовой сети 17 передает по заданному протоколу (например, протоколу LTE) потока видеоизображений и извлеченных из изображений данных посредством сотовой сети.

Модуль информирования 16 предназначен для выдачи информационных сообщений рабочему, на котором закреплена интеллектуальная видеосистема, или оператору. Информационные сообщения формирует второе процессорное ядро 7 при распознавании объектов априори заданных классов или получении команд об информировании от вышестоящей системы. Процессорное ядро 7 формирует сообщение в виде голосового сообщения и через свой первый вход выход и далее пятый выход выход первой системной шины 20 и далее выход системной шины 20 подает данное сообщение на модуль информирования 16. Модуль информирования 16 формирует звуковое сообщение посредством встроенного пьезоизлучателя.

Контроллер аккумулятора 11 непрерывно анализирует напряжение и потребляемый от аккумулятора 12 ток и при разряде либо превышении потребляемого тока выдаёт информационный сигнал через свой вход-выход на четвертый вход выход первой системной шины 20 во второе процессорное ядро 7 о необходимости замены аккумулятора. После этого второе процессорное ядро 7 формирует соответствующее информационное сообщение и описанным выше образом отправляет сформированное сообщение в модуль информирования 16.

Рассмотрим действия при последующем использовании нераспознанных объектов: данные о нераспознанных объектах передаются в вышестоящую систему обработки, где человек-оператор классифицирует вручную или внешней программой распознавания данные объекты и в случае необходимости выполняет обучение по новым и обновленным данных. Обучение производится на внешнем персональном компьютере или сервере или в облачном сервисе, например в Amazon AWS или Microsoft Azur, представлено в различных общедоступных бесплатных и платных исходных кодах соответствующих нейронных сетей. Обучение представляет собой разметку изображений - указание полигонами и областями объектов на изображениях, загрузку размеченных изображений на вход программных средств для обучения и получение файлов конфигурации нейросетей в качестве результата обучения. После обучения обновлённые структуры первой 6 или второй 8 нейронных сетей загружаются через wi-fi коммуникатор 14 или usb-порт 13, что рассмотрено выше в настоящем описании.

Рассмотрим реализацию модулей заявленной системы.

Объектив 10 представляет собой широкоугольный объектив, с фиксированным или изменяемым фокусным расстоянием, совместимый по форм-фактору с приемником изображения 2. Например, https://www.bic-video.ru/catalog/products/lv3080m-cs-obektiv.html. Приемник изображения 2 может быть, например, sony imx 323, или аналогичный. Конкретное исполнение приемника изображения может меняться в зависимости от наличия на рынке и назначения, допускается установка цветных, монохроматических и инфракрасных приемников изображения.

Модуль адаптации изображения может быть построен на базе маломощной ПЛИС или маломощного АРМ-процессора или микроконтроллера. Модуль адаптации выполняет согласно рассмотренному выше функционалу вычислительно и функционально простые действия, что позволяет его реализовать как в виде ПЛИС минимальной логической емкости, так и виде микроконтроллера, например, пригодны ПЛИС Xilinx xc3s50an или контроллер Atmel Atmega328.

ОЗУ 3 представляет собой статическое ОЗУ емкостью, достаточной для хранения не менее 9 кадров изображений. Рекомендуемая емкость составляет 256Мбайт, что широко представлено на рынке микросхем ОЗУ, например, микросхемами CY62126EV30LL-45ZSXI. Сумматор 9 может быть реализован на ПЛИС, например конструктивно в составе того же микроконтроллера, что и модуль адаптации изображения 4 или выполнен программно на базе вычислительно слабого микроконтроллера, например фирмы atmel.

Первое и второе процессорное ядро представляют собой либо два физических ядра одного процессора, например, на базе процессора Cortex-A72, либо два независимых аналогичных процессора меньшей вычислительной мощности. Вследствие того, что основные по ресурсоемкости вычисления производят первая 6 и вторая 8 нейронные сети, а первое 5 и второе 7 процессорные ядра реализуют дополнительные функции по реализации алгоритма распознавания, то требований к высокой вычислительной мощности не определяется к первому 5 и второму 7 вычислительному ядрам.

Первая и вторая нейронные сети реализуются на базе ПЛИС Vertex 6, Vertex 7, Spartan или аналогичной. Также первая и вторая нейронные сети могут быть реализованы без ПЛИС, но с использованием большего объема ОЗУ 15 на указанном выше процессоре Cortex при программной реализации вычислений; в этом случае будет меньшее быстродействие нейронных сетей, чем на ПЛИС.

Флеш-память 10 предназначена для сохранения в течение заданного времени получаемых кадров изображений и их описаний, является энергонезависимой памятью. Флэш-память 10 предствляет собой карту памяти микроSD с контроллером или иную аналогичную энергонезависимую память.

Аккумулятор 12 может быть построен на базе элементов питания 18650 3000 мАч. Контроллер аккумулятора может быть реализован либо на базе готового модуля https://aliexpress.ru/item/32996797701.html, либо посредством собственно изготовленного контроллера, обеспечивающего измерение напряжения и тока и широко представленного в различной инженерной литературе.

Модуль информирования – цифро-аналоговый преобразователь с подключенным к нему аналоговым усилительным каскадом и пьезоизлуателем или иным портативным звукоизлучающем устройством, например, Max98357I2S с пьезодинамиком.

ОЗУ 15 должно быть объемом не менее 8 Гб и реализовано схеме подключения динамического ОЗУ, например, на базе MT46V64M8P-6TIT .

WiFi коммуникатор с антенной 14 представляет собой стандартный микро-модуль для подключения к локальной проводной сети и к WiFi, например, на базе модуля A1709 BGA 339S00249.

Модуль коммуникации с сотовой сетью 17 может быть построен на базе готового покупного модуля, поддерживающего протокол обмена данных по LTE сотовой сети, например, на базе SIMCOM A7670SA LTE

Изобретение обеспечивает:

реализацию портативной видеосистемы видеорегистрации со встроенной функцией искусственного интеллекта, обеспечивающей качественное распознавание различных объектов в режиме реального времени и носимой на экипировке или защитной каске рабочего;

- формирование малых по объему данных, но при этом информативных описаний рабочей сцены в реальном времени, которые могут быть сохранены и переданы во внешние вычислительные средства по слабому с малой пропускной способностью каналу данных, а также храниться длительное время,

- дообучение новым распознаваемым объектам.

Изобретение относится к области обработки изображений, а именно к средствам регистрации и обработки видеоизображений в системах контроля безопасности промышленных объектов. Техническим результатом заявляемого решения является повышение качества анализа данных, получаемых из изображения рабочей сцены. Технический результат достигается тем, что в заявленном решении предусмотрены объектив, ОЗУ, логические элементы, флеш-память , USB порт , Wi-Fi коммуникатор, модуль коммуникации сотовой сети, первое процессорное ядро, второе процессорное ядро, первая нейронная сеть, вторая нейронная сеть, контроллер аккумулятора, аккумулятор, модуль информирования, системные шины. 2 н.п. ф-лы, 6 ил.

1. Способ автоматического анализа визуальных данных, включающий

непрерывное получение видеоизображений, автоматическую подстройку параметров экспозиции и чувствительности к заданным условиям съемки, передачу полученного изображения в вышестоящую систему обработки,

отличающийся тем, что введены

интеллектуальная обработка полученных видеоданных,

передача извлеченной информации из изображения в вышестоящую систему обработки,

сохранение видеопотока в виде совокупности видеофайлов, отдельных изображений и семантических текстовых описаний в локальной энергонезависмой памяти,

накопление кадров для увеличения яркости затемненных участков изображения,

расширение динамического диапазона яркости изображения,

сегментацию изображения на различные объекты,

распознавание объектов на изображении,

автоматическую оценку необходимости дообучения для увеличения количества классов распознаваемых объектов,

дообучение новым классам распознаваемых объектов,

формирование компактного семантического описания объектов на изображении,

передачу компактного семантического описания объектов в вышестоящую систему обработки,

выдачу информационных сообщений.

2. Интеллектуальная портативная видеосистема, содержащая изображения, объектив, отличающаяся тем, что введены

регистровое ОЗУ, сумматор, модуль адаптации изображения, флеш-память , USB-порт, Wi-Fi коммуникатор с антенной, модуль коммуникации сотовой сети, первое процессорное ядро, второе процессорное ядро, первая нейронная сеть, вторая нейронная сеть, контроллер аккумулятора, аккумулятор, ОЗУ, модуль информирования, первая системная шина,

первая и вторая нейронные сети аппаратно построены по единой архитектуре и содержат вторую, третью, четвертую системные шины, первую … q-ю шины данных, контроллер-арбитр, модуль конфигурации, первый ... q-n-й сумматоры, первый ... q-n-й компараторы,

причём обеспечивает фокусирование изображения рабочей сцены на приемник изображения, вход приемника изображения подключен к выходу модуля адаптации изображения, выход приемника изображения подключен к первому входу модуля адаптации изображения и входу регистрового ОЗУ, выход регистрового ОЗУ подключен к входу сумматора, выход сумматора подключен к второму входу модуля адаптации изображения, вход-выход модуля адаптации изображения подключен к первому входу-выходу первой системной шины, вход-выход флеш-памяти подключен к третьему входу-выходу первой системной шины, первый вход-выход USB-порта подключен к четвертому входу-выходу первой системной шины, второй вход-выход USB-порта является внешним входом-выходом устройства, вход-выход Wi-Fi коммуникатора с антенной подключен к седьмому входу-выходу первой системной шины, вход-выход модуля коммуникации сотовой сети подключен к девятому входу-выходу первой системной шины, второй вход-выход первой системной шины подключен к первому входу-выходу первого процессорного ядра, второй вход-выход первого процессорного ядра подключен к входу-выходу первой нейронной сети, пятый вход-выход первой системной шины подключен к первому входу-выходу второго процессорного ядра, второй вход-выход второго процессорного ядра подключен к входу-выходу второй нейронной сети, шестой вход-выход первой системной шины подключен к входу-выходу контроллера аккумулятора, вход контроллера аккумулятора подключен к выходу аккумулятора, восьмой вход-выход первой системной шины подключен к входу-выходу ОЗУ, выход первой системной шины подключен к входу модуля информирования,

первый вход-выход второй системной шины является входом-выходом нейронной сети, второй вход-выход второй системной шины подключен контроллеру-арбитру, первый выход второй системной шины подключен к входу модуля конфигурации, выход модуля конфигурации подключен ко второму входу третьей системной шины, второй выход второй системной шины подключен к первому входу третьей системной шины,

первый выход третьей системный шины подключен к первому входу первого компаратора, второй выход третьей системной шины подключён к первому входу первого сумматора, выход первого сумматора подключен ко второму входу первого компаратора, выход первого компаратора подключен к первому входу первой шины данных, третий выход третьей системной шины подключён ко второму входу первого сумматора,

3n-й выход третьей системной шины подключен к первому входу n-го компаратора, (3n+1)-й выход третьей системной шины подключён к первому входу n-го сумматора, выход n-го сумматора подключен ко второму входу n-го компаратора, выход n-го компаратора подключен к n-му входу первой шины данных, (3n+2)-й выход третьей системной шины подключён ко второму входу n-го сумматора,

первый выход первой шины данных подключен к первому входу второго-первого компаратора, второй выход первой шины данных подключён к первому входу второго-первого сумматора, выход второго-первого сумматора подключен ко второму входу второго-первого компаратора, выход второго-первого компаратора подключен к первому входу второй шины данных, третий выход первой шины данных подключён ко второму входу второго-первого сумматора,

3n-й выход первой шины данных подключен к первому входу второго-n-го компаратора, (3n+1)-й выход первой шины данных подключён к первому входу второго-n-го сумматора, выход второго-n-го сумматора подключен ко второму входу второго-n-го компаратора, выход второго-n-го компаратора подключен к n-му входу второй шины данных, третий выход первой шины данных подключён ко второму входу второго-n-го сумматора,

первый выход q-й шины данных подключен к первому входу q-первого компаратора, второй выход q-й шины данных подключён к первому входу q-первого сумматора, выход q-первого сумматора подключен ко второму входу q-первого компаратора, выход q-первого компаратора подключен к первому входу четвертой системной шины, третий выход q-й шины данных подключён ко второму входу q-первого сумматора,

3n-й выход q-й шины данных подключен к первому входу q-n-го компаратора, (3n+1)-й выход q-й шины данных подключён к первому входу q-n-го сумматора, выход q-n-го сумматора подключен ко второму входу q-n-го компаратора, выход q-n-го компаратора подключен к n-му входу четвертой системной шины, третий выход q-й шины данных подключён ко второму входу q-n-го сумматора,

выход четвертой системной шины подключен к входу второй системной шины.