ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ДЛЯ АВТОМАТИЧЕСКОЙ КАЛИБРОВКИ МНОГОПРОЕКТОРНЫХ СИСТЕМ С ВОЗМОЖНОСТЬЮ ВОСПРОИЗВОДИТЬ КОНТЕНТ В ВЫСОКОМ РАЗРЕШЕНИИ С ИСПОЛЬЗОВАНИЕМ СРЕДСТВ ШИФРОВАНИЯ И ЦИФРОВОЙ ДИСТРИБЬЮЦИИ, СПОСОБ ШИФРОВАНИЯ КОНТЕНТА ДЛЯ ИСПОЛЬЗОВАНИЯ В СПОСОБЕ ВОСПРОИЗВЕДЕНИЯ КОНТЕНТА Российский патент 2018 года по МПК G06F7/00 G06F21/60 H04N19/119 H04N9/31 H04N7/167 

Настоящее изобретение связано с формированием и выводом картинки на экраны с помощью проекторов и может использоваться в купольных проекционных системах, симуляторах, системах виртуальной реальности.

Из уровня техники известны следующие технические решения.

Известна система для автоматической калибровки многопроекторных систем с использованием камеры, при этом осуществляется компенсация геометрических искажений на криволинейной поверхности экрана, компенсация различий цветовой гаммы, компенсация баланса белого и черного в местах перекрытия (заявка на патент США №2014313423, 23.10.2014).

Известен способ шифрования мультимедийного контента (патент Тайваня №201448577, 16.12.2014), в котором осуществляется выделение случайного фрагмента из контента, шифрование и генерация ключа, соответствующего фрагменту. Файл лицензии создается в соответствии с идентификационной информацией файла фрагмента.

Также известна система воспроизведения контента (патент США №9117389, 25. 08.2015), включающая средства воспроизведения контента на сферическом экране с предварительной обработкой данных и корректировки искажений, вызванных криволинейной поверхностью экрана.

Известные средства имеют следующие недостатки:

1. Отсутствие полной автоматической калибровки.

2. Сложные аппаратные средства (фильтры) для компенсации паразитных засветок.

3. Необходимость разрезать и воспроизводить кадр отдельно под каждый проектор с использованием выделенного под каждый проектор сервера.

4. Использование мощных и дорогих устройств.

5. Сложное управление.

6. Отсутствие или не качественная реализация захвата изображение в режиме реального времени.

7. Отсутствие шифрования контента.

Задача, на решение которой направлена заявленная группа изобретений - сшивка нескольких устройств отображения информации в единую синхронизированную картинку, исключение наличия видимых перекрытий, цветовых различий, световой интенсивности, паразитных засветок между фрагментами, создаваемыми различными проекторами или цифровыми экранами. Возможность воспроизводить зашифрованный видео поток высокого разрешения и многоканальный аудио поток. Возможность производить аудио и видео захват высокого разрешения в режиме реального времени, с последующим выводом на экран. Возможность работы с лицензиями, позволяющими проигрывать зашифрованный видео поток с ограничением по времени или количеству воспроизведений в высоком качестве.

Технический результат, достигаемый заявленной группой изобретений заключается в повышении качества отображения лицензионного зашифрованного контента на криволинейной поверхности за счет равномерной нагрузки декодирования на процессорные ядра, обеспечивающей отсутствие задержек, пропущенных кадров и дрожания картинки, а также автоматической калибровки геометрических искажений, плавных переходов между проекторами, выравнивание яркости, гаммы, и паразитных засветок.

Для формирования качественного изображения на купольном экране, используется множество проекторов, каждый из которых проецирует на экран некоторый фрагмент изображения. Информация о проецируемом изображении передается в проекторы из одного компьютера напрямую, или через устройства, разделяющие картинку на части. С целью исключить наличие видимых границ между фрагментами, создаваемыми различными проекторами, в устройство введены средства, приспособленные вводить в компьютер информацию о получаемом на экране изображении, а компьютер приспособлен получать эту информацию, обрабатывать ее и выдавать на проекторы вертикально синхронизированное и скорректированное изображение с учетом перекрытий, паразитных засветок, различной цветовой гаммы, неравномерного распределения светового потока, неровностей экрана.

Заявленный технический результат достигается за счет конструкции программно-аппаратный комплекса для воспроизведения лицензионного контента в высоком разрешении на криволинейной поверхности, включающего компьютер с видео входом для получения исходного видеоизображения, соединенные с компьютером посредством кабелей (VGA, HDMI, DVI, SDI, HDBaseT, и др.), по меньшей мере, два проектора, экран с криволинейной поверхностью, по меньшей мере, одно средство для получения тестового снимка экрана во время передачи на экран изображений с проекторов, средство дистанционного управления, по меньшей мере, один процессор, выполненный с возможностью разделения кадра исходного видеоизображения на, по меньшей мере, две части, кодирования посредством кодека каждой части кадра видеоизображения после разделения, шифрования каждой части видеоизображения посредством, по меньшей мере, одного лицензионного ключа, упаковывания всех зашифрованных частей видеоизображения в один файл, запоминающее средство для хранения упакованного файла, машиночитаемый носитель с файлом лицензии для упакованного файла, средство для распаковывания файла, модуль декодирования файла и модуль автокалибровки, выполненный с возможностью создания для каждого проектора фильтра для компенсации интенсивности свечения в местах перекрытия, шейдера для компенсации геометрических искажений на поверхности экрана, фильтра для компенсации паразитных свечений от проекторов и фильтра для компенсации различия цветовой гаммы, запоминающее устройство для хранения полученных фильтров, модуль воспроизведения.

Также заявленный технический результат достигается за счет выполнения способа воспроизведения лицензионного контента в высоком разрешении, включающего этапы, на которых получают исходное видеоизображение, делят видеоизображение на кадры, разделяют каждый кадр исходного видеоизображения на, по меньшей мере, две части, кодируют посредством кодека каждую часть кадра видеоизображения после разделения, шифруют каждую часть видеоизображения посредством, по меньшей мере, одного лицензионного ключа, упаковывают все зашифрованные части видеоизображения в один файл и записывают его на запоминающее устройство, подключают запоминающее устройство с записанным файлом одновременно с запоминающим устройством, хранящим файл лицензии для записанного файла, распаковывают записанный файл, декодируют файл передают декодированный поток на модуль автокалибровки, создающий для каждого проектора фильтр для компенсации интенсивности свечения в местах перекрытия, шейдер для компенсации геометрических искажений на поверхности экрана, при этом на первом этапе калибровки геометрии, определяются границы засветки каждого проектора, на основе этих данных строятся маски, выделяющие из общего кадра участок изображения для каждого проектора, фильтр для компенсации паразитных свечений от проекторов и фильтр для компенсации различия цветовой гаммы, накладывают на каждый проектор соответствующие ему фильтры и проектируют на экран от каждого проектора соответствующие ему части кадров видеоизображения.

При расположении проекторов таким образом, что бы они закрыли всю поверхность купольного экрана, неизбежно возникают взаимные наложения, и в этих местах образуются зоны повышенного свечения. Кроме того при проецировании на поверхность сферы, создаются геометрические искажения влекущие за собой не равномерность распределения светового потока. Так же проекторы могут иметь разную цветовую гамму, интенсивность свечения, не точное расположение относительно экрана, посторонние или специально установленные объекты на пути прохождения лучей от проекторов. Все эти факторы возможно определить на этапе калибровки и компенсировать программно аппаратными средствами в автоматическом или полу автоматическом режиме. С помощью созданных на этой основе шейдеров, возможно проигрывание видео потоков высокого разрешения с применением множества фильтров в реальном времени. Для равномерной нагрузки на процессорные ядра и соблюдения максимально допустимого разрешения кадра для кодека, исходное видео изображение разрезается на несколько частей в зависимости от величины общего разрешения. Модуль декодирования выполнен с возможностью открыть предварительно зашифрованные файлы и передать декодированный поток на дальнейшую обработку.

Далее решение поясняется ссылками на фигуры, на которых показано следующее:

Фиг. 1 - общий вид системы для автоматической калибровки многопроекторных систем и воспроизведения лицензионного контента.

Фиг. 2 - расположение 4-х проекторов для создания проекции на сферическом экране.

Фиг. 3 - блок-схема выполнения автокалибровки многопроекторной системы.

Фиг. 4 - блок-схема осуществления способа воспроизведения лицензионного контента.

Фиг. 5 - блок-схема системы воспроизведения лицензионного контента.

Фиг. 6 - блок-схема выполнения настройки калибровки.

Фиг. 7 - блок-схема калибровки геометрии.

Фиг. 8 - блок-схема цветовой калибровки.

Фиг. 9 - блок-схема калибровки переходов.

На фиг. 1 показано расположение проекторов, экрана, и средств, приспособленных вводить в компьютер информацию о получаемом на экране изображении. Программно-аппаратный комплекс включает компьютер 1 с программным обеспечением, подключенные к нему камеру 2 и проекторы 3. Для отображения видеоконтента комплекс включает экран 4 с криволинейной поверхностью (например, сферической). Для захвата исходного видеоизображения ПК содержит видео вход 6. Для управления программными модулями комплекс включает устройство дистанционного управления 5, связанное с ПК посредством радио-модуля 7.

На фиг. 2 показано примерное расположение 4-х проекторов для создания проекции на сферическом экране.

В качестве примера рассмотрим работу устройства с подключенными проекторами 31, 32, 33, 34, где каждый проектор 31-34 формирует свой фрагмент изображения 31', 32', 33', 34' на экране 4 и взаимно перекрывается с другими проекторами 31-34, и вместе они закрывают 100% площади экрана 4. Для определенности будем полагать, что изображение формируется одинаковыми проекторами 31, 32, 33, 34, имеющими одинаковые матрицы с w пикселами по горизонтали и h пикселами по вертикали. Формируемое на экране изображение при помощи камеры передается в компьютер 5. В качестве камеры 2 может использоваться цифровой фотоаппарат с высоким разрешением, профессиональная видеокамера, цифровая матрица и т.п., с линзой, способной охватить всю площадь экрана в случае использовании одной камеры, или часть экрана в случае использования нескольких камер, например, круговая фишай линза.

Перед началом калибровки производится установка и первоначальная настройка камеры 2. Рассмотрим вариант установки камеры в центре сферы с 100% охватом всей поверхности экрана. Охватить 100% поверхности сферического экрана позволяет линза типа круговой фишай 360×180 градусов.

Калибровка начинается с тестового снимка экрана во время передачи на проектора максимального белого свечения всех пикселей. Снимок передается в компьютер и выводится на управляющее устройство. Если во время визуального определения мы убедились что камера и проекторы установлены правильно, можно начинать процесс калибровки. Первым шагом является вывод на экран контрастного четкого изображения для автоматической настройки фокуса если это позволяет камера и линза. В случае невозможности сделать это автоматически, фокус настраивается вручную. Далее на каждый проектор с помощью сервера и установленного в нем ПО, поочередно выводятся шаблоны. Камера делает снимки этих шаблонов и передает в компьютер на анализ.

Анализируя полученные снимки ПО определяет границы засвечиваемой области каждого проектора и сохраняет результат в файлы. С помощью серии различных шаблонов мы определяем ориентацию экрана, последовательность подключения проекторов, и возможные геометрические искажения на поверхности экрана. На основе полученной информации из первого этапа калибровки мы определяем точные координаты перекрытий и создаем простые фильтры для компенсации интенсивности свечения в местах перекрытия и шейдеры для компенсации геометрических искажений.

Большинство проекторов не имеют бесконечного контраста и одинаковой интенсивности свечения на всех цветах. Второй этап калибровки призван устранить паразитные свечения от самих проекторов и (или) других источников, в условиях максимальной темноты. Камера делает серию снимков с различной длинной выдержки, и передает их на анализ в компьютер. ПО определяет места интенсивного свечения паразитного света и создает новые шаблоны для вывода на экран. Постепенно повышая уровень свечения других областей, мы добиваемся равномерного распределения паразитного свечения по всему экрану или части экрана. По окончании второго этапа калибровки, на основе данных о границах полученных на первом этапе, мы создаем отдельные фильтры для каждого проектора.

Далее переходим к калибровке, призванной устранить не идеальное распределение светового потока по поверхности экрана. На основе фильтров созданных на первом этапе калибровки мы выводим на экран белую картинку и делаем серию снимков с различной выдержкой. На основе этих снимков строим новый шаблон и выводим на экран. При помощи новых шаблонов, постепенно понижая уровень свечения в местах взаимного наложения с другими проекторами, и местах более плотного сосредоточения светового потока, мы добиваемся равномерного распределения интенсивности светового потока по всему экрану. По окончании третьего этапа калибровки, на основе данных о границах полученных на первом этапе, мы создаем отдельные фильтры для каждого проектора. В случае если результат не удовлетворительный, так как проекторы имеют различную цветовую гамму или усиление яркости белого свечения, мы вводим в процесс калибровку призванную компенсировать это различие. Этот этап калибровки должен происходить после первого этапа, так как на основании полученных данных происходит корректировка в калибровке остальных этапов. Процесс начинается с определения области без перекрытий у каждого проектора. Далее в этих областях проецируются цветовые шаблоны с различной интенсивностью свечения и различными оттенками всех цветов. На основе полученных с камеры снимков строятся цветовые фильтры, способные компенсировать различие цветовой гаммы, и скорректировать дальнейшие этапы калибровки.

По окончании калибровки все созданные фильтры и файлы компенсации геометрических искажений сохраняются на диске.

Во время запуска ПО, фильтры и файлы шейдеров передаются в GPU, где на их основе производится корректировка изображения, поступающего на проекторы в режиме реального времени. Встроенный модуль воспроизведения по команде от внешнего контроллера начинает проигрывание видео и аудио файлов предварительно подготовленных и записанных на диск.

Файлы подготавливаются специальным ПО следующим образом. На вход программы кодирования подается видео секвенция или видео файл, каждый кадр разрезается на несколько частей. Например, на вход подается кадр в разрешении 4к (3840×3840). Программа разрезает кадр на 8 равных частей 1920×960) и полученные файлы кодируются выбранным кодеком, например MPEG2. Подобный метод способен равномерно распределить нагрузку декодирования по всем ядрам процессора. Далее каждый видео файл шифруется одним ключом или несколькими ключами в зависимости от условий распространения контента и типа лицензии. Для удобства полученные видео файлы, аудио файлы, файлы описания, и вспомогательные файлы пакуются в один файл для последующей загрузки на диск компьютера. Во время загрузки в компьютер, файл контента распаковывается на стороне сервера, и находится на диске в виде папки с зашифрованными файлами. В зависимости от условий распространения этого видео файла может быть сгенерирован файл лицензии, который представляет собой зашифрованный текстовый документ с описанием условий распространения и техническую информацию. Файл лицензии загружается в сервер и расшифровывается в помощью внутренних ключей. И так как каждому компьютеру присваиваются уникальные ключи идентификаторы, приватные ключи, публичные ключи, и эталонное время хранятся во внешнем устройстве защиты информации, то на основании публичных и приватных ключей пользователя и системы, мы можем сгенерировать лицензию для определенного файла и определенной системы. Так как эталонное время хранится на внешнем, обладающим стойкостью ко взлому устройстве с собственной постоянной памятью, мы можем генерировать лицензии с ограничением действия как по времени, так и количеству воспроизведений. Для работы системы достаточно одного сервера, и установленной карты захвата, представляющей собой устройство с портом Thunderbolt, HDMI, DP, DVI и т.п., способное принимать входящий сигнал, а программная часть сервера способна подключаться к устройству захвата, и перенаправлять поток через маски и фильтры системы, что позволяет воспроизводить статичные или динамические изображения в высоком разрешении в режиме реального времени, захватывая их с других устройств, таких как компьютер, ноутбук, смартфон, видео камеры, видео и аудио пульты, и другие. Так же в системе существует возможность увеличивать количество карт захвата, тем самым увеличивая пропускную способность и общее разрешение.

Ручная настройка такой системы сводится к ориентации проекторов в пространстве, фокусировке изображения и установки камеры. Дальнейшая настройка всей системы производится в автоматическом режиме один раз во время установки, или в случае изменения положения проекторов и (или) экрана, замены лампы и других факторов.

Предлагаемое техническое решение обеспечивает следующие преимущества перед известными устройствами того же назначения:

1. Отсутствие необходимости в точной ориентации проекторов.

2. Для работы системы достаточно одного сервера.

3. Простота настройки и управления.

4. Беспроводное сенсорное управление.

5. Идеальная синхронизация видео и звука, за счет нахождения всех файлов на одном сервере, параллельном декодировании видео и аудио потоков, и использования GPU ускорения.

6. Отсутствие задержек, пропущенных кадров, дрожания картинки, за счет использования вертикальной синхронизации GPU и быстрой дисковой подсистемы.

7. Автоматическая калибровка геометрических искажений, плавных переходов между проекторами, выравнивание яркости, гаммы, и паразитных засветок.

8. Для получения необходимого разрешения и яркости изображения, количество проекторов может как увеличиваться, так и уменьшаться.

9. Возможность работы с любыми типами проекторов.

10. Исключаются весьма серьезные проблемы традиционных проекторов, связанные с искажениями, вносимыми оптикой, такие как сферическая и хроматическая аберрации, бочкообразная и подушкообразная дисторсия и т.п.

11. Устраняются эффекты, связанные со старением оборудования, так как при настройке проекторов эти обстоятельства автоматически принимаются во внимание.

12. В традиционных проекторах со временем появляются дефектные пикселы. Если этот пиксел находится в зоне перекрытия с другим проектором, дефектные пикселы автоматически исключаются из работы на этапе калибровки, так как они дают пятно нулевой интенсивности.

13. Отсутствие необходимости подготавливать контент для каждого проектора в отдельности.

14. Исключительная надежность.

15. Система защиты контента с возможностью контролировать время или количество воспроизведений.

16. Простая подготовка и загрузка контента.

17. Захват видео потока высокого разрешения в режиме реального времени.

18. Настройка проекции с помощью программного обеспечения гораздо быстрее, дешевле, точнее, гибче и оперативнее, чем настройка аппаратуры с помощью механических регуляторов.

19. Устройство для формирования на экране изображений, состоящее из вычислительной системы, камеры, и цифрового проектора, приспособленных выводить на экран изображение в соответствии с информацией, полученной из вычислительной системы, отличающееся тем, что в качестве средства для фиксации в памяти вычислительной системы информации об имеющемся на экране изображении введена камера, и устройство выполнено с возможностью производить калибровку множества цифровых проекторов, а вычислительная система приспособлена обрабатывать переданную камерой в ее память информацию об имеющемся на экране изображении и с учетом информации о требуемом полном изображении на экране выдавать в каждый проектор информацию о том изображении, которое он должен показывать.

20. Открывать и декодировать зашифрованные файлы контента с использованием лицензий.

Изобретение относится к области формирования и отображения картинки на криволинейных экранах с помощью проекторов. Технический результат – повышение качества отображения лицензионного зашифрованного контента на криволинейной поверхности. Способ воспроизведения лицензионного контента включает этапы, на которых: получают кадр исходного видеоизображения, разделяют его на части, шифруют каждую часть и передают в модуль автокалибровки, создающий для каждого проектора маску и фильтр, шейдер для компенсации геометрических искажений на поверхности экрана, фильтр для компенсации паразитных свечений от проекторов и фильтр для компенсации различия цветовой гаммы, и автоматически калибрующий плавные переходы между проекторами, накладывают на каждый проектор соответствующие фильтры и проектируют на экран от каждого проектора соответствующую ему часть кадра видеоизображения, при этом файлы, полученные в результате деления, и аудиофайлы упаковываются в один файл, а во время загрузки указанный файл распаковывается на стороне сервера и видео- и аудиопотоки декодируются параллельно. 3 н.п. ф-лы, 9 ил.

1. Программно-аппаратный комплекс для воспроизведения лицензионного контента в высоком разрешении на криволинейной поверхности, включающий компьютер, машиночитаемый носитель с программным обеспечением калибровки и проигрывания видео- и аудиофайлов с жесткого диска, видеовход для захвата изображения, программным обеспечением для подготовки контента или доступа к базе подготовленных файлов, видеовход, соединительные видеокабели HDMI, DVI, DP, SDI, по меньшей мере два проектора, и кабели управления проекторами RS232, Ethernet, экран с криволинейной поверхностью, по меньшей мере одно средство для получения тестового снимка экрана во время передачи на экран изображений с проекторов, средство дистанционного управления, вычислительное устройство, включающее по меньшей мере один процессор, выполненный с возможностью разделения кадра исходного видеоизображения на по меньшей мере две части, кодирования посредством кодека каждой части кадра видеоизображения после разделения, шифрования каждой части кадра видеоизображения посредством по меньшей мере одного лицензионного ключа, упаковывания всех зашифрованных частей видеоизображения и аудиофайла в один файл, запоминающее средство для хранения упакованного файла, машиночитаемый носитель с файлом лицензии для упакованного файла, средство для распаковывания файла, модуль декодирования файла и модуль автокалибровки, выполненный с возможностью создания для каждого проектора фильтра для компенсации интенсивности свечения в местах перекрытия, шейдера для компенсации геометрических искажений на поверхности экрана, фильтра для компенсации паразитных свечений от проекторов и фильтра для компенсации различия цветовой гаммы, а также с возможностью автоматической калибровки плавных переходов между проекторами, запоминающее устройство для хранения полученных фильтров, модуль воспроизведения, вычислительное устройство выполнено с возможностью обрабатывать переданную камерой в его память информацию об имеющемся на экране изображении и с учетом информации о требуемом полном изображении на экране выдавать в каждый проектор информацию о том изображении, которое он должен показывать, при этом во время загрузки в компьютер указанный файл распаковывается на стороне сервера и видео- и аудиопотоки декодируются параллельно с использованием GPU ускорения и использованием вертикальной синхронизации GPU и быстрой дисковой подсистемы.

2. Способ воспроизведения лицензионного контента в высоком разрешении, включающий этапы, на которых получают по меньшей мере один кадр исходного видеоизображения, разделяют его на части и шифруют каждую часть посредством вычислительной системы и передают в модуль автокалибровки, создающий для каждого проектора маску и фильтр для компенсации интенсивности свечения в местах перекрытия, шейдер для компенсации геометрических искажений на поверхности экрана, фильтр для компенсации паразитных свечений от проекторов и фильтр для компенсации различия цветовой гаммы, и автоматически калибрующий плавные переходы между проекторами, накладывают на каждый проектор соответствующие ему фильтры и проектируют на экран от каждого проектора соответствующую ему часть кадра видеоизображения, при этом файлы, полученные в результате деления каждого кадра видеоизображения, и аудиофайлы упаковываются в один файл для последующей загрузки на диск, а во время загрузки в компьютер указанный файл распаковывается на стороне сервера и видео- и аудиопотоки декодируются параллельно с использованием GPU ускорения и использованием вертикальной синхронизации GPU и быстрой дисковой подсистемы.

3. Способ шифрования контента для осуществления способа по п. 2, включающий этапы, на которых делят исходное видеоизображение на кадры, разделяют каждый кадр исходного видеоизображения на по меньшей мере две части, кодируют посредством кодека каждую часть кадра видеоизображения после разделения, шифруют каждую часть кадра видеоизображения посредством по меньшей мере одного лицензионного ключа, упаковывают все зашифрованные части видеоизображения и аудиофайл в один файл и записывают его на запоминающее устройство, подключают к ПК запоминающее устройство с записанным файлом одновременно с запоминающим устройством, хранящим файл лицензии для записанного файла, распаковывают записанный файл, декодируют файл и передают декодированный поток на модуль автокалибровки.