Группа изобретений относится к обработке цифровых изображений, а более конкретно к способам формирования панорамных изображений из видеопотока кадров, полученных с помощью мультифасеточной системы сенсоров для дальнейшей композиции полученных изображений в один кодированный сигнал в формате эквидистантной проекции.
Панорамные системы с дискретным (фасеточным) угловым полем состоят из многочисленных оптических каналов, каждый из которых воспринимает поток излучения в сравнительно узком угловом поле. Оптические оси каналов развернуты по отношению друг к другу на определенный угол и в совокупности перекрывают широкое угловое поле.
Разработка фасеточных оптико-электронных многоканальных систем с фокальными матрицами является стремительно развивающимся. В таких системах используются макрооптические объективы, создающие изображение на фотоприемной матрице. Общее панорамное изображение в системе создается частями, складывающимися в общую картину с помощью цифровой обработки в режиме реального времени. Макрооптические системы позволяют получить панорамное изображение с гораздо более высоким пространственным и энергетическим разрешением, чем микрооптические. Такие системы могут использоваться в системах обнаружения угроз, мониторинга, целеуказания, для панорамной фото- и видеосъемки, контроля полостей и т.д. Перспективы в разработке систем с фокальными матрицами связаны с созданием фотоприемных матриц большого формата и с развитием вычислительных способностей компьютерных технологий.
В материалах заявки использованы следующие термины и определения.
Блендинг изображений (англ. image blending) - метод, позволяющий вставить часть одного изображения в другое таким образом, чтобы композиция изображений выглядела естественно, без швов на границах вставки.
Дисторсия (от лат. distorsio, distortio - искривление) - аберрация оптических систем, при которой коэффициент линейного увеличения изменяется по мере удаления отображаемых предметов от оптической оси.
Конвейерная обработка изображений - технология ускоренной обработки многотоновых изображений, при которой на первом этапе изображение рассматривается как двухуровневое, на втором - четырехуровневое и т.д. [Л.М. Невдяев. Телекоммуникационные технологии. Англо-русский толковый словарь-справочник. Под редакцией Ю.М. Горностаева. Москва, 2002].
CPU (англ. central processing unit) - центральный процессор (ЦП; также центральное процессорное устройство - ЦПУ).
GPU (англ. graphics processing unit) - графический процессор.
BAYER - Фильтр Байера (шаблон Байера) - это двумерный массив цветных фильтров, которыми накрыты фотодиоды фотоматриц. Используется для получения цветного изображения в матрицах цифровых фотоаппаратов, видеокамер и сканеров.
SIMD (англ. single instruction, multiple data - одиночный поток команд, множественный поток данных, ОКМД) - принцип компьютерных вычислений, позволяющий обеспечить параллелизм на уровне данных. Один из классов вычислительных систем в классификации Флинна.
Наиболее близким аналогом к заявляемому способу является техническое решение, известное из патента RU 2626551, заключающееся в формировании панорамных изображений из видеопотока кадров в режиме реального времени. На изображениях кадров выявляют множества характерных элементов, изображение текущего кадра сравнивают с результирующим изображением, определяют координаты вектора смещения текущего кадра и изображение текущего кадра сдвигают на рассчитанные координаты вектора смещения, рассчитывают границу области перекрытия и смещенное изображение текущего кадра добавляют к результирующему. Вокруг выявленных характерных элементов строят характерные прямоугольные области, сравнивают множества характерных прямоугольных областей, при этом изображение текущего кадра сравнивают только с соседними опорными кадрами и только в областях интереса изображений текущего и опорных кадров, рассчитывают величину средней интенсивности пикселей изображения текущего кадра. Определяют координаты вектора смещения текущего кадра относительно соседних опорных кадров. Изображение текущего кадра сдвигают относительно изображений соседних опорных кадров и добавляют к результирующему изображению.
Однако данное решение не предназначено для мультифасеточных систем.
Наиболее близким аналогом к заявляемой системе является техническое решение, известное из патента US 6693273. Каждый из множества индивидуально выбираемых излучателей адаптирован для обеспечения узкого луча, угол которого относительно горизонтальной плоскости смещен относительно других излучателей. Все излучаемые лучи лежат по существу в одной и той же плоскости по азимуту. Контроллер реагирует на определенные стимулы, чтобы выборочно активировать один или несколько излучателей. Вырабатываемая таким образом энергия контролируется приемником, предпочтительно расположенным в том же корпусе. Выходной сигнал приемника анализируется контроллером для определения наличия препятствия в той части апертуры, которая освещается выбранным излучателем (ами). Множество систем могут предоставлять входной сигнал контроллеру с целью повлиять на то, какой из множества излучателей должен быть активирован для обнаружения объекта.
Однако данное решение не предназначено для формирования панорамного изображения.
Технической проблемой заявляемого изобретения является создание технического решения, которое обеспечивает захват, обработку и кодирование панорамных изображений с охватом 360 градусов и формирование видеосигнала, пригодного для передачи по сети Интернет для дальнейшего воспроизведения в формате панорамного видео 360 градусов и применения в виртуальной реальности, которое обеспечивается за счет разворота панорамного изображения видео 360 градусов из эквидистантной в объемную проекцию.
Техническим результатом группы изобретений является повышение пространственного и энергетического разрешения панорамного изображения при его передаче с максимально низкой задержкой, приближенной к режиму реального времени.
Заявленный технический результат достигается за счёт того, что в способе формирования панорамного изображения осуществляют: захват видеосигнала высокого разрешения с помощью по крайней мере двух мультифасеточных модулей, передачу необработанного видеосигнала на вычислительный блок, обработку видеосигнала, при которой используют вычисления с одиночным потоком команд, множественным потоком данных; композицию всех видеосигналов в единый видеопоток в формате эквидистантной проекции, получая композитный видеосигнал, при этом каждый видеосигнал подвергается серийной обработки с собственными уникальными параметрами для каждой функции: исправление и компенсация дисторсий в соответствии с техническими особенностями оптики мультифасеточного модуля; трансформация систем координат в проекции с билинейной интерполяцией; градиентное смешивание цветовых каналов в местах пересечений; фильтрация изображения по функциям: цветовой палитры, яркости и насыщенности, четкости.
В заявленном способе также могут быть использованы следующие дополнения.
Осуществляют захват аудиосигнала и его синхронизацию с композитным видеосигналом.
Реализуют кодировку сигнала, передавая не сжатый аудио- и видеосигнал выбранному кодировщику.
Осуществляют трансляцию аудио- и видеосигнала в сеть Интернет.
Заявленный технический результат достигается также за счёт того, что система для реализации способа содержит мультифасеточный блок и вычислительный блок, соединённые коннекторами, мультифасеточный блок содержит по крайней мере два мультифасеточных модуля, каждый из которых содержит объектив и сенсор захвата видеоизображения, при этом каждый мультифасеточный модуль калиброван и имеет юстированный объектив.
Заявленная система способна передавать панорамное сверхчёткое изображения с полным пространственным разрешением в виде кодированного сигнала в сети Интернет с максимально низкой задержкой, приближенной к режиму реального времени.
Для решения проблемы был разработан новый принцип конвейерной обработки изображения, позволяющий обрабатывать и передавать изображение без потерь в качестве и времени.
Разработанное уникальное программное решение по организации выходных сигналов позволяет организовывать бесшовную интеграцию заявляемого изобретения в системы видеонаблюдения, систем автоматических трансляций в охранных и развлекательных сферах применения для создания онлайн трансляций, систем для видеоконференцсвязи в реальном времени.
В основе алгоритма лежат базовые стереометрические методы, оптимизированные под работу в режиме приближенному к реальному времени, т.е. с минимальными задержками на исполнение.
Уникальным свойством алгоритма является его универсальность и возможность применения для различных конфигураций фасеточных систем. Разработанная система настройки работы алгоритмов позволяет интерактивно (во время работы алгоритмов) менять значения всех пространственных переменных, глубины интерполяции и ширины блендинга пространственных сегментов. Данная технология позволяет в ручном или автоматическом режиме адаптировать производительность алгоритмов под различные аппаратные решения за счёт потоковых SIMD-расширений процессоров, оптимизаций и синхронизаций выполнения параллельных вычислений на различных графических ускорителях и центральных процессорах с учетом архитектуры конвейерной обработки, обеспечивающих вычисления с одиночным потоком команд, множественным потоком данных.
Результатом работы алгоритмов является изображения с полным пространственным разрешением в формате 32-х/64-х бит с альфа-каналом. Максимальный размер изображения и частота кадров определяется вычислительными способностями аппаратных решений, разрешение может достигать любых значений в пикселях по ширине и по высоте с частотой от 25 к/с. Разрешение и частота кадров лимитируются только параметрами аппаратной вычислительной платформы.
Сущность изобретения поясняется фигурами 1-7 на которых показаны:
Фиг. 1 - пример значений пикселя в сигнале с одного канала в зависимости от длины волны, принятой с фокальной матрицы в мультифасеточном блоке;
Фиг. 2 - иллюстрация участка пикселей в «сыром» формате BAYER;
Фиг. 3 - алгоритм формирование панорамного изображения;
Фиг. 4 - схема формирования эквидистантой проекции;
Фиг. 5 - изображение мультифасеточного блока;
Фиг. 6-7 - изображение промышленных модулей.
Система содержит мультифасеточный блок, коннекторы в виде интерфейсных проводов (кабелей) и вычислительный блок.
Мультифасеточный блок состоит из нескольких промышленных мультифасеточных модулей, каждый из которых содержит объектив и сенсор захвата видеоизображения. Каждый модуль калиброван, в едином корпусе и имеет юстированную уникальную оптику - объектив, отличительной особенностью которой является высокая точность сопряжения оптических характеристик самой оптики и фотоприемного элемента (сенсора захвата видеоизображения) с учётом угла пространственного охвата и разрешающей способности оптических элементов внутри объектива.
Корпус состоит из алюминиевых деталей и элементов крепежа. В основе разработки собственного мультифасеточного блока лежит максимально точный расчет и юстирование оптической части для сегментированного захвата всего пространственного разрешения. С целью получения максимального качества результирующей картинки были подобраны и рассчитаны фотоприемные матрицы от компании SONY в составе промышленных модулей и размером рабочей области более одного дюйма.
Критериями подборки фотоприемных матриц являлись следующие показатели:
- опыт и распространение продуктов компании на рынке цифровых сенсоров (Sony является крупнейшим производителем сенсоров для цифровых камер);
- размер сенсора (чем больше, тем лучше);
- частота кадров, который позволяет передать промышленный модуль (чем больше, тем лучше);
- эффективное разрешение (чем больше, тем лучше);
- размер пикселя (чем больше, тем лучше).
Интерфейсные провода соединяют мультифасеточный блок с вычислительным блоком по интерфейсу, соответствующему промышленным мультифасеточным модулям в составе системы. В соответствии с техническими требованиями каждого интерфейса провода могут иметь ограничения по длине и способу их монтажа.
Вычислительный блок схож с составом персонального компьютера за исключением графических ускорителей и количества процессорных ядер, производитель и технические характеристики которых определяются в зависимости от состава мультифасеточного блока и требованиям к выходному потоку видео. Содержит аппаратные ускорители.
Интерфейс управления имеет сетевую реализацию для доступа к настройкам и командам системы удаленному оператору через подключение к сети Интернет. Данный интерфейс позволяет реализовать собственное серверное решение для организации доступа к элементам управления системы через личный аккаунт на сайте.
Способ осуществляют следующим образом.
Способ реализован с помощью вышеописанной системы и программного обеспечения.
Программное обеспечение работает по принципу конвейерного производства видео и аудио контента. На входе конвейера - разрозненные изображения в виде уникальных фрагментов всего углового поля, а на выходе - сжатый аудио и видео сигнал для воспроизведения в формате виртуальной реальности.
Осуществляют захват пространственного разрешения фотоприемными матрицами в разработанном мультифасеточном блоке, например, более 2 «сырых» (не сжатых) видеосигналов с мультифасеточного блока с разрешением изображения от 2К (1920 *1080 и выше с частотой не менее 25 кадров в секунду). Уникальное программное решение по захвату изображения позволяет работать с мультифасеточным блоком по различным интерфейсам, включая самые распространенные USB 3.0 и Ethernet. Уникальность решения достигается благодаря использованию низкоуровнего языка программирования, за счет чего добивается минимальное время на обработку данных для работы в режиме реального времени (real time). Также программа имеет возможность кодировать итоговое изображение в различных Интернет протоколах (RTSP, RTCP, UDP, RTMP, RTMPS, NDI, WebRTC, HLS, HLS low latency), и имеет возможность доработки до совместимости с новыми протоколами, которые еще не внедрены, раздавать сигналы нескольким потребителям (например: одновременные процессы записи в файл, стриминг в Интернет, выход системной виртуальной камеры для импорта в сторонние приложения), индивидуально настраивать большое количество параметров каждого из сенсоров, входящих в мультифасеточный блок (например: экспозиция/выдержка, светочувствительность, шаттер, цветовая температура, смещение цветовой палитры, контраст, гамма, разрешение, частоту кадров FPS, световую насыщенность, резкость, уровни черного/светлого/полутонов), не имеет ограничений на степень сжатия материала (битрейт видео при сжатии теоретически не ограничен, на практике фактором ограничения скорости потока и, соответственно, качества видео является скорость работы ОЗУ (оперативной) и ПЗУ (постоянной) памяти конкретного компьютера, на котором установлено наше программное обеспечение), работает с «сырыми данными» (RAW, например, при использовании интерфейса USB 3.0 и двух сенсоров/камер, мы имеем два потока по 5 Гбит/с каждый), позволяет подключать, разработанные, или внешние плагины для детекции людей и машин или любых иных сценариев для видеоаналитики на базе искусственного интеллекта, осуществлять двустороннее соединение в режиме видеоконференции в виртуальной реальности за счет видео 360 градусов разрешением не менее 4К через web интерфейс с минимальной задержкой в реальном времени.
Передают данные с мультифасеточного блока на вычислительный блок. Основной особенностью данного этапа является передача не сжатых данных по сверхскоростным интерфейсам. Такой принцип позволяется исключить потери качества на промежуточном сжатии. Многоканальная система передает с фотоприемных матриц первичные данные без какой-либо обработки.
Обрабатывают «сырые» данные, полученные с каждого канала мультифасеточного блока. На базе аппаратных ускорителей форматируют и обрабатывают видео сигналы в соответствии с техническими требованиями каждого сенсора в мультифасеточном блоке. На данном этапе в целях оптимизации всех алгоритмов обработки изображения каждый видеосигнал форматируется по принципу перевода цветового формата с разложением цветовых компонентов по собственному шаблону разложения всех цветовых несущих, что дает оптимальное количество и порядок операций с оперативной памятью.
Разработанные алгоритмы позволяют разбивать вычисления по функциональным блокам. Распределение на параллельные вычисления в функциональных блоках необходимо для достижения высокой скорости обработки большого массива данных. Модель интерполяции определяет количество вычислительных итераций, и в соответствии с частотой и количеством возможных блоков алгоритм способен определять оптимальную модель интерполяции из всех опций с целью оптимизации работы под определенные вычислительные модули. Принцип обработки сигналов на аппаратных ускорителях построен с учетом универсальной совместимости, что делает всю систему обработки максимально независимой от производителя аппаратной части.
Осуществляют композицию всех видеосигналов в единый видеопоток в формате эквидистантной проекции (формат 2:1). При этом каждый видеосигнал подвергается серийной обработки с собственными уникальными параметрами для каждой функции:
- исправление и компенсация всех дисторсий в соответствии с техническими особенностями оптики модуля мультифасеточного блока;
- трансформация систем координат в проекции с билинейной интерполяцией;
- градиентное смешивание цветовых каналов в местах пересечений угловых смежных сечений сферической поверхности;
- фильтрация изображения по функциям: цветовой палитры, яркости и насыщенности, четкости.
Осуществляют захват аудио сигнала с внешнего устройства и его синхронизацию с композитным видеосигналом. Выходные видео- и аудиосигналы форматируют под требования выбранного видео и аудио кодека.
Организуют бесперебойный процесс кодирования и трансляции аудио и видеосигналов в сеть Интернет по заранее указанному протоколу. С целью универсального применения изобретения был разработан интерфейс управления кодировщиками видео и звука для программной и аппаратной реализации. На данном этапе конвейера разработан механизм передачи не сжатого аудио- и видеосигнала выбранному кодировщику с минимальной задержкой в режиме реального времени. Минимальная задержка обеспечивается за счет многопоточности, оптимизации и высокой скорости работы всех алгоритмов быстрой сшивки изображения с нескольких сенсоров в эквидистантную проекцию формата 2:1. В рамках поддержки разных протоколов разработан универсальный интерфейс с возможностью детальной настройки их работы. Под универсальностью интерфейса понимается возможность точной настройки параметров изображения универсально для каждого протокола.
Поддержка протоколов: RTMP, UDP, SRT, NDI.
Поддержка кодеков: H.264, H.265.
Поддержка аппаратных кодировщиков: Intel QuickSync (QSV), NVIDIA Codec.
Звуковой кодек: AAC.
Максимальное кол-во каналов звука: 4.
Весь конвейер производства аудио и видео сигналов работает в режиме, приближенном к режиму реального времени, имея при этом незначительную задержку от 100 мс.
На фиг. 1 представлен пример значений пикселя в сигнале с одного канала в зависимости от длины волны, принятой с фокальной матрицы в мультифасеточном блоке. На фиг. 2 показана иллюстрация участка пикселей в «сыром» формате BAYER.
Универсальность алгоритма, достигающаяся за счет введения в систему спецификационных параметров, требуемых для точных определений условий исполнения и последовательности вычислений в алгоритмах, позволяет адаптировать вычисления с требуемой скоростью работы под различных аппаратные решения в виде центрального процессора «CPU» и/или графического ускорителя «GPU».
Синий: 0-255
Зеленый: 0-255
Пример реализованной системы.
В составе мультифасеточного блока - промышленные модули с сенсорами/матрицами размером 4/3 дюйма с двумя юстированными макрооптическими объективами. Мультифасеточный блок настроен на два канала с пространственным захватом по 180 градусов каждый. Мультифасеточный блок подключен к вычислительному блоку по паре высокоскоростных интерфейсов USB3.1.
Вычислительный блок c центральным процессором класса x86 Intel Core i7/i9 и графическим ускорителем класса не ниже NVIDIA GTX970 или AMD RX Vega M/GH выполняет работу всего конвейера с выходной частотой изображения от 30 к/с и разрешением до 4К.
Изобретение относится к обработке цифровых изображений. Способ формирования панорамного изображения, характеризующийся тем, что осуществляют захват видеосигнала высокого разрешения с помощью по крайней мере двух мультифасеточных модулей; передачу необработанного видеосигнала на вычислительный блок; обработку видеосигнала, при которой используют вычисления с одиночным потоком команд, множественным потоком данных; композицию всех видеосигналов в единый видеопоток в формате эквидистантной проекции, получая композитный видеосигнал. При этом каждый видеосигнал подвергается исправлению и компенсации дисторсий оптики мультифасеточного модуля, трансформации систем координат в проекции с билинейной интерполяцией, градиентному смешиванию цветовых каналов в местах пересечений угловых смежных сечений сферической поверхности, фильтрации изображения по функциям: цветовой палитры, яркости и насыщенности, четкости. Техническим результатом является повышение пространственного и энергетического разрешения панорамного изображения при его передаче с максимально низкой задержкой, приближенной к режиму реального времени. 2 н. и 4 з.п. ф-лы, 7 ил.
1. Способ формирования панорамного изображения, характеризующийся тем, что осуществляют:
- захват видеосигнала высокого разрешения с помощью по крайней мере двух мультифасеточных модулей,
- передачу необработанного видеосигнала на вычислительный блок,
- обработку видеосигнала, при которой используют вычисления с одиночным потоком команд, множественным потоком данных;
- композицию всех видеосигналов в единый видеопоток в формате эквидистантной проекции, получая композитный видеосигнал,
- при этом каждый видеосигнал подвергается обработке:
- исправлению и компенсации дисторсий оптики мультифасеточного модуля;
- трансформации систем координат в проекции с билинейной интерполяцией;
- градиентному смешиванию цветовых каналов в местах пересечений угловых смежных сечений сферической поверхности;
- фильтрации изображения по функциям: цветовой палитры, яркости и насыщенности, четкости.
2. Способ по п. 1, характеризующийся тем, что осуществляют захват аудиосигнала и его синхронизацию с композитным видеосигналом.
3. Способ по п. 2, характеризующийся тем, что реализуют кодировку сигнала, передавая не сжатый аудио- и видеосигнал выбранному кодировщику.
4. Способ по п. 3, характеризующийся тем, что осуществляют трансляцию аудио- и видеосигнала в сеть Интернет.
5. Система для реализации способа по п. 1, характеризующаяся тем, что содержит мультифасеточный блок и вычислительный блок, соединенные коннекторами, мультифасеточный блок содержит по крайней мере два мультифасеточных модуля, каждый из которых содержит юстированный объектив и сенсор захвата видеоизображения, при этом каждый мультифасеточный модуль калиброван.
6. Система по п. 5, характеризующаяся тем, что вычислительный блок содержит аппаратные ускорители.
| Способ формирования цифрового панорамного изображения | 2016 |
|
RU2654127C1 |
| US 10084958 B2, 25.09.2018 | |||
| US 2014022424 A1, 23.01.2014. | |||
