Область техники, к которой относится изобретение
Изобретение в общем относится к технике передачи или повтора любых комбинированных изображений, а более конкретно, к технике осуществления комбинирования мультинаборов цифровых изображений множества каналов и ее интерфейса шины. Изобретение может использоваться в системе модулей многопозиционного контроля (МПК) телеконференции или в оборудовании для редактирования изображений.
Уровень техники
На телеконференции или в службе редактирования изображений обычно необходимо комбинировать сигналы каждого движущегося изображения (субизображения) множества каналов в сигнал единого канала (один канал или один набор каналов) в реальном масштабе времени. Комбинированный сигнал цифрового видеоизображения может включать содержания каждого исходного сигнала множества каналов и представляет те же формат и физический интерфейс, что и сигнал цифрового изображения единого канала. Контролируя каждое движущееся изображение множества каналов, коммутируя данные каждого движущегося изображения множества каналов и гибко обновляя их, режим комбинирования каждого движущегося изображения требует своего осуществления посредством программного обеспечения в устройстве аппаратного обеспечения. Например, каждое изображение множества каналов может быть гибко разделено на наборы и каждый набор комбинируется в различных режимах.
Имеющийся обычный делитель изображения (такой как изделие фирмы AD, США) удовлетворяет упомянутым выше требованиям, но только имеет режим единственной фиксированной комбинации или режимы нескольких ограниченных комбинаций.
В настоящее время имеются главным образом два недостатка оборудования комбинирования многоканальных изображений:
1. Коммутация режимов главным образом производится аппаратным обеспечением, так что режимы комбинирования многоканальных видеоизображений не могут быть гибкими;
2. При ограниченном техническими параметрами и модальностью интерфейсе аппаратного обеспечения, когда режим комбинирования более сложен, частота кадров комбинированных исходных субизображений не может поддерживаться, так что качество комбинированного изображения не является удовлетворительным, а частота кадров комбинированного изображения оказывается низкой.
Сущность изобретения
Целью изобретения является создание способа осуществления комбинирования изображения каждого цифрового сигнала множества каналов и интерфейса шины для него. При таком способе и интерфейсе шины каждый сигнал цифрового изображения множества каналов может гибко коммутироваться, а режимы комбинирования - гибко обновляться, многоканальные изображения (субизображения) могут гибко группироваться в наборы и могут иметь различный режим комбинирования.
Способ комбинирования данных изображения мультинаборов множества каналов выполняется с помощью плана, содержащего следующие этапы:
А. Каждый канал объединенных видеоданных m каналов от исходного видеоканала вводят в соответствующий канал субизображения m каналов субизображений и сжимают с получением соответственно пиксельных данных субизображения каждого из m каналов субизображения, и пиксельные данные субизображения каждого из m каналов субизображений сохраняют в m блоках кадровой памяти FIFO (первый вошел первый вышел) субизображений;
В. строб-сигналы пиксельных данных субизображения каждого из m каналов субизображения контролируют момент, когда такие данные выводятся на шину указанного набора;
С. пиксельные данные субизображения на шинах видеоданных n-набора соответственно комбинируют для формирования n комбинированных изображений и объединенные видеоданные выводят из n-го набора, комбинирующего каналы изображения.
На этапе А сжимают пиксельные данные субизображения с тем же порядком развертки, что и исходные видеоданные, но с меньшим количеством пикселей столбца и/или количеством пикселей строки. Сформированные пиксельные данные субизображения хранят в нижнем адресе блока кадровой памяти FIFO субизображения.
На этапе В в тот же указанный момент времени выводят только один канал пиксельных данных субизображения. Пиксельные данные субизображения m каналов избирательно коммутируют к шинам видеоданных n наборов при помощи строб-сигналов шины.
На этапе В вычисляют соответствующий каналу субизображения адрес каждого пикселя одного поля или одного кадра комбинируемого изображения в качестве адреса пикселя; вычисленные адреса пикселя для одного поля или для одного кадра сохраняют в памяти в соответствии с порядком развертки изображения для формирования таблицы адресов пикселей; адрес пикселя считывают из такой таблицы под контролем видеосинхросигнала; выбирают группу шин видеоданных и считывают m-ые пиксельные данные субизображения, которые были считаны блоком обработки изображения n-ого набора для комбинирования изображений.
В режиме нечетного поля и четного поля две памяти хранят таблицы адресов пикселей для пиксельных данных нечетного поля и пиксельных данных четного поля соответственно. В кадровом режиме одна память хранит таблицы адреса пикселя общих кадров.
В течение времени, когда режим комбинирования изображения стабилен, адрес каждого поля или каждого кадра комбинируемого изображения вычисляют только один раз и повторно считывают каждым полем или каждым кадром.
Осуществление плана изобретения включает интерфейс шины для комбинирования мультинаборов цифровых многоканальных изображений. Реализация такого плана включает блок обработки изображения m-канальных субизображений, блок обработки изображения для комбинирования изображений n-го набора, шины видеоданных n наборов, адресные и управляющие шины, логический модуль контроля считывания пиксельных данных и коммутации шины, а также модуль формирования тактового и синхросигналов. Каждый выход m каналов субизображения блока обработки изображения для m-канальных субизображений синхронизированно подключен к шинам видеоданных n-го набора, которые синхронизированно подключены ко входам данных субизображения блока обработки изображения для комбинирования изображений n-го набора или фиксированно соединены со входами данных субизображения блока обработки изображения для менее чем n наборов, комбинирующих изображения.
Адресная и управляющая шины синхронизированно подключены к блоку обработки изображения для комбинирования изображений n-го набора, к логическому модулю контроля доступа к пиксельным данным и коммутации шины, а также к модулю формирования тактового и синхросигналов.
Каждый канал блока обработки изображения для m-канальных субизображений состоит из последовательно соединенных модуля формирования субизображения, кадровой памяти FIFO субизображения и модуля коммутации пиксельных данных субизображения и их распределения. Каждый набор блока обработки изображения для комбинирования изображений n-го набора состоит из подключения модуля контроля адреса пикселя и логического модуля контроля комбинирования. Модуль контроля адреса пикселя и логический модуль контроля доступа и коммутации шины соединены с адресной и управляющей шинами. Логический модуль контроля доступа к пиксельным данным и коммутации шины соединен с модулями коммутации m пиксельных данных субизображений и их распределения. Модули коммутации m пиксельных данных субизображений и их распределения, а также логический модуль n контроля комбинирования подключены к шинам видеоданных n наборов.
Логический модуль контроля доступа к пиксельным данным и коммутации шины, состоящий из декодеров, выводит строб-сигнал для контроля пиксельных данных субизображения, подлежащих выводу к одной группе шин видеоданных. Строб-сигнал декодируется сигналом адреса пикселя, который выводится из модуля контроля адреса пикселя, связанного с комбинируемым изображением, и видеосинхросигналом.
Модуль контроля адреса пикселя состоит из соединения центрального процессора ЦП или цифрового сигнального процессора (DSP) процессора и памяти. ЦП или DSP процессор вычисляют соответствующий адрес субизображения для каждого поля или каждого кадра комбинируемого изображения. Память хранит вычисленный адрес пикселя для формирования таблицы адресов пикселей для поля или кадра.
Адресная и управляющая шины содержит адресную шину, шину тактового и синхросигнала и шину управления. Адресная шина соединена с модулем контроля адреса пикселя и с логическим модулем контроля доступа к пиксельным данным и коммутации шины. Шина тактового и синхросигнала соединена с блоком обработки изображения для m-канальных субизображений и с блоком обработки изображения для комбинирования изображений n-го набора. Шина управления соединена с модулями коммутации m пиксельных данных субизображения и их распределения, а также с логическим модулем контроля доступа к пиксельным данным и коммутации шины.
Изобретение, именно способ и интерфейс для комбинирования множества наборов многоканальных цифровых изображений имеет следующие преимущества:
1) Изобретение обеспечивает аппаратное обеспечение в качестве платформы для обработки сигналов и функции такой платформы осуществляются программными средствами. Поскольку последние являются более простыми для обновления или изменения, режим комбинирования оказывается гибким. На практике несколько сотен режимов комбинирования могут быстро коммутироваться под контролем программного обеспечения.
2) Изобретение может гибко разделять каналы субизображения на различные наборы и режимы комбинирования, в результате чего способность обработки изображения системы значительно возрастает, что удовлетворяет системам связи мультимедийного изображения и требованию редактирования изображения.
Краткое описание чертежей
Фиг.1 показывает десять типовых режимов комбинирования изображения: фиг.1a, 1b, 1c, 1d, 1e, 1f, 1i и 1j.
Фиг.2 показывает структурную схему аппаратного обеспечения для комбинирования цифрового изображения сигналов мультинабора множества каналов согласно изобретению.
Фиг.3 показывает соединение между шинами для комбинирования мультинаборов сигналов цифрового многоканального изображения и модулями интерфейса согласно изобретению.
Подробное описание
Ниже изобретение будет описано более подробно со ссылками на сопровождающие чертежи и предпочтительные варианты осуществления.
В принципе количество субизображений, которые могут принимать участие в комбинировании изображения, не ограничено. Тем не менее, ограниченные пропускной способностью чипа интерфейса шины и качеством сигнала, субизображения, принимающие участие в процессе комбинирования, составляют в общем случае не более 16. При специальной обработке для согласования управляющих сигналов и шин количество субизображений может быть увеличено до 25 или более.
Теоретически при гибкости программного обеспечения режимы комбинирования изображения почти не ограничены. Фиг.1 показывает десять типовых режимов комбинирования. Фиг.1а представляет режим комбинирования, составленного из двух субизображений. Фиг.1b - режим комбинирования, составленного из трех субизображений. Фиг.1с - режим комбинирования, составленного из четырех субизображений. Фиг.1d - режим комбинирования, составленного из девяти субизображений. Фиг.1e - режим комбинирования, составленного из шести субизображений. Фиг.1f - другой режим комбинирования, составленного из четырех субизображений. Фиг.1g - режим комбинирования, составленного из 16 субизображений. Фиг.1h - режим комбинирования, составленного из восьми субизображений. Фиг.1i - режим комбинирования, составленного из 13 субизображений. Фиг.1j - другой режим комбинирования, составленного из 13 субизображений.
Предпочтительный вариант использует режим комбинирования, составленного в качестве примера из 16 субизображений. 16 (m=16) исходных изображений (16 субизображений) группируются в n наборов (в общем случае n = от 1 до 4). Каждый набор субизображений использует один набор шин видеоданных, так что субизображения n-го набора соответственно приложены к шинам видеоданных n-ого набора для формирования комбинированного изображения. В ходе комбинирования одно ограничение состоит в том, что каждое исходное изображение (оно представляет выходные данные одного физического канала субизображения) не может принимать участия в двух или более обработках комбинирования изображения в некоторый момент времени. При согласовании с таким ограничением исходные изображения от каждого канала могут быть сгруппированы в многие виды набора или скомбинированы многие виды режимов. Например, каждое исходное изображение первого, второго и третьего каналов формирует первый набор, каждое исходное изображение четвертого, пятого, шестого и седьмого каналов - второй набор и каждое исходное изображение от восьмого до шестнадцатого каналов - третий набор и так далее.
Фиг.2 показывает структуру аппаратного обеспечения для m (m=16) субизображений, подлежащих комбинированию в n (n=4) наборов. Такая структура содержит блок 10 обработки изображения для многоканальных субизображений, шину 20 видеоданных множества изображений (шины видеоданных n наборов), адресную и управляющую шины 30, блок 40 обработки изображения для мультинаборов, комбинируемых изображений, логический модуль 50 контроля доступа к пиксельным данным и коммутации шины, а также модуль 60 тактового и синхросигналов. Каждый канал объединенных видеоданных, поступающих от m-канального исходного видеоизображения, вводятся в соответствующие каналы субизображения m каналов субизображения и комбинируются в n наборов. Объединенные видеоданные выводятся из n наборов канала комбинируемого изображения.
В блоке 10 обработки изображений для многоканальных субизображений каждый канал субизображения содержит модуль 11 формирования субизображения, модуль 12 кадровой буферной памяти FIFO и модуль 13 коммутации и распределения для пиксельных данных субизображения. Модули 11, 12 и 13 соединены последовательно.
Модуль 11 сжимает один канал объединенных данных цифрового изображения, соответствующих каналу исходного видеоизображения, в пикселе для получения цифровых данных субизображения. Объединенные данные цифрового изображения в оригинале могут занимать два формата: один является стандартным форматом цифрового видеоизображения, включающим форматы CCIR-601 или CCIR-656, а другой представляет общий промежуточный формат, который является тем же, что и порядок развертки отображения, и не различает нечетное поле и четное поле, такой как формат CIF. Используя DSP процессор (процессор цифровых сигналов), данные исходного изображения с этими двумя форматами могут быть сжаты в пикселе для получения данных субизображения, которые имеют исходный порядок развертки, но меньше количества пикселей строки и количества пикселей столбца, чем исходное изображение. Для первого формата имеется специальный чип для сжатия изображения.
Модуль 12 кадровой буферной памяти FIFO используется для временного хранения сжатых данных исходного изображения. Когда каждый кадр или поле исходного изображения сжато, трудно синхронизировать субизображения различного размера, так что сжатые данные хранятся в кадровой буферной памяти FIFO и каждый кадр или поле исходного изображения может обновлять эту буферную память. Сжатые данные субизображения хранятся в памяти с малыми адресами.
Существуют две функции модуля 13 коммутации и распределения для пиксельных данных субизображения. Одна из них представляет гарантию того, что в любой момент времени только одни пиксельные данные субизображения выводятся к тому же набору шин 20 видеоданных множества изображений, которая является шиной с тремя состояниями. Другая функция должна избирательно коммутировать каждый канал данных субизображения к шине данных другого набора (такой как одна из шин четвертого набора), когда присутствует множество наборов (например, четыре набора). В период времени, который может составлять несколько часов или несколько минут, группирование m субизображений определено. Следовательно, соотношение распределения шин 20 видеоданных множества изображений также определено и контролируется ЦП системы. Адресная и управляющая шины от блока 40 и ЦП совместно осуществляют эти две функции.
Логический модуль 50 состоит из нескольких декодеров. Входные сигналы модуля 50 поступают от шин 30 адреса и управления, включая сигнал адреса пикселя, отправленный модулем контроля адреса в блоке 40, и видеосинхросигнал. Выходные сигналы модуля 50 представляют строб-сигнал пиксельных данных субизображения каждого канала, который используется для контроля таких данных, подлежащих выводу к набору шины видеоданных в указанный момент времени. Модуль 50 может быть размещен со стороны блока 10, такого как на фиг.2, или со стороны блока 40, такого как на фиг.3.
На фиг.2 и 3 шины 20 видеоданных состоят из шин 201, 202, 203 и 204 четырех наборов. Фиг.3 показывает типовые соединения между четырьмя шинами видеоданных и модулями интерфейса.
Шины 20 видеоданных множества изображений могут быть разделены на один набор или несколько наборов. В общем случае они представляют четыре набора или менее и четыре набора в этом предпочтительном варианте осуществления. Каждый набор шин видеоданных, 201, 202, 203 или 204, соединен с выходами всех каналов субизображения в блоках 10, т.е. с выходами всех каналов модуля 13 коммутации и распределения для пиксельных данных субизображения. В то же время каждый набор шин видеоданных, 201, 202, 203 или 204, также подключен к входам всех блоков комбинирования изображений, т.е. к логическому модулю 41 контроля комбинирования изображений в блоке 40. Конечно, они могут быть соответственно подключены к одному блоку комбинирования изображения, как показано на фиг.3. Каждый набор шин 201, 202, 203 или 204 содержит 16 или 8 линий видеоданных для передачи цветовых различий, сигналов яркости и т.п.YUV данных.
Необходимо пояснить, что шины 20 видеоданных множества изображений могут быть шинами одного набора или шинами мультинаборов. Отсутствует необходимость того, что входы блока 40 обработки изображения для мультинаборов, комбинирующих изображения, должны быть циклически соединены со всеми многочисленными наборами шин видеоданных. Входы блока 40 обработки изображения могут быть фиксированно соединены только с одним набором шин видеоданных. Модуль 50 может быть размещен со стороны блока 10 (как на фиг.2) или со стороны блока 40 (как на фиг.3).
Для достижения хорошего качества сигналов на шинах необходимо иметь согласование импеданса для каждого сигнала видеоданных. В общем случае чип интерфейса типа АВТ (один из видов чипов управления шиной) используется для управления шиной.
Адресная и управляющая шины 30 на фиг.2 представляет шину 301 управления, тактовую и синхронизирующую шину 302 на фиг.3. Шины 30 имеют видеосинхросигналы, сигнал адреса пикселя видеоизображения/строб-сигналы субизображения. Видеосинхросигналы содержат основной тактовый сигнал 27 МГц, тактовый сигнал пикселей 13,5 МГц или 6,75 МГц, сигнал синхронизации полей, сигнал синхронизации строк и полный сигнал гашения и т.п. Видеосинхросигналы обеспечиваются к блоку 10 обработки изображения для многоканальных субизображений и к блоку 40 обработки изображения для мультинаборов комбинируемых изображений. Тип сигнала для сигнала адреса пикселя видеоизображения/строб-сигнала субизображения зависит от того, где установлен логический модуль 50 контроля доступа к пиксельным данным и коммутации шины. Модуль 42 контроля адреса пикселя для комбинирования изображений в каждом наборе блока 40 обработки изображения выводит номер канала изображения (адрес), соответствующий пиксельным данным, для считывания при каждом тактовом сигнале пикселя. После того как модуль 50 декодирует номер канала изображения (адрес), он вырабатывает строб-сигнал, который выбирает данные субизображения m-го канала, подлежащие считыванию n-ым блоком процесса комбинирования изображения. Видеоданные считываются из памяти 12 FIFO m-го канала субизображения.
Согласно изобретению видеошины могут быть общего наименования для шин 20 видеоданных множества каналов, шины 301 управления или шины 302 тактового и синхросигнала. В предпочтительном варианте фиг.3 модуль 50 размещен близко к блоку 40 обработки изображения для мультинаборов комбинируемых изображений.
Модуль 42 контроля адреса пикселя при комбинировании изображения состоит из ЦП или DSP процессора и памяти. В соответствии с фоновыми требованиями ЦП или DSP процессор вычисляет номер (адрес) соответствующего канала субизображения каждых данных пикселя для поля или кадра комбинируемого изображения в качестве адреса пикселя. Затем адреса пикселя для поля или кадра сохраняются в памяти в соответствии с порядком развертки изображения. В режиме нечетного поля и четного полей требуются две памяти для хранения соответственно таблицы адресов пикселей данных нечетного поля и таблицы адресов данных четного поля. В режиме кадра требуется только одна таблица адресов пикселей общего кадра.
Памятью может быть кадровая буферная память FIFO или статическое ЗУПВ. В течение времени, такого как несколько минут или несколько часов, режим комбинирования множества изображений относительно стабилен и не нуждается в непрерывной коммутации. Следовательно, для определенного режима адреса пикселей требуется вычислять только один раз и сохранять в памяти. Далее под контролем видеосинхросигнала, адреса пикселей для каждого поля или кадра повторно считываются из памяти. Это относится к тактовому действию аппаратного обеспечения. Таблица адресов пикселей получается путем большого объема вычислений. Если каждое поле или кадр вычисляются в реальном масштабе времени, применяется высокоскоростной PSP процессор, и стоимость оказывается высокой. Таким образом, отсутствует необходимость вычисления таблицы адресов пикселя для каждого поля или кадра.
Модули 41 и 42 составляют субмодуль комбинирования изображения. Когда каждые видеоданные субизображения выводятся к шинам 20 видеоданных множества каналов в указанной последовательности, сформированы формат данных и последовательность комбинированного изображения. Тем не менее, для повышения эффективности функционирования системы каждый такой субмодуль должен осуществлять следующие две функции: выбирать шины видеоданных одного набора из мультинаборов шин видеоданных (или фиксированное соединение), замещать пиксели и добавлять титры и заставки. Функция замещения пикселей должна ослабить фиксированный цвет для погашенной области субизображения в комбинированном изображении. Ослабление цвета в области может быть выполнено непосредственно на шине видеоданных при режиме зарядки или протягивания либо осуществлено другим субмодулем, сопровождающим титры. Поскольку это не имеет отношения к изобретению, то не описывается более подробно.
Модуль 60 тактового и синхросигналов могут составить специальные видеоустройства или логические схемы.
Изобретение, осуществляющее комбинирование изображения, и интерфейс шины для него, было проверено в системе МПК телеконференции и доказало, что поставленная цель достигнута. При способности более эффективной обработки для комбинирования множества изображений и лучших технических параметрах изобретение может быть использовано в системе связи мультимедийного изображения.
Изобретение относится к способу комбинирования мультинаборов цифровых изображений множества каналов и интерфейсу шины для него. Интерфейс шины содержит блок обработки изображения для m каналов суб-изображений, блок обработки изображения для комбинирования изображений n-го набора, n-наборов шин видеоданных, адресные и управляющие шины, логический модуль контроля доступа к пиксельным данным и коммутации шины, а также модуль формирования тактового и синхросигналов. Строб-сигналы шины контролируют пиксельные данные m каналов суб-изображений, выводят их к одной из шин n-ой группы видеоданных в определенный момент времени. Наборы блоков обработки изображения для комбинирования изображений комбинируют пиксельные данные суб-изображений на шинах видеоданных n групп и формируют данные объединенного изображения. Способ может быть использован в системе связи мультимедийного изображения и в системе редактирования изображения для повышения возможностей обработки мультинаборов изображений. 2 н. и 9 з.п. ф-лы, 3 ил.
А. вводят объединенные видеоданные каждого из m исходных видеоканалов в соответствующие m каналов субизображения, формируют пиксельные данные субизображения каждого m канала субизображения и сохраняют пиксельные данные субизображения каждого m канала субизображения в m блоках кадровой памяти типа первый вошел первый вышел (FIFO) субизображения;
В. контролируют сохраненные пиксельные данные субизображения каждого m канала субизображения при помощи их строб-сигналов, выводят пиксельные данные субизображения одного или нескольких каналов субизображения к назначенной одной из шин видеоданных n-го набора в назначенный момент времени;
С. соответственно комбинируют пиксельные данные субизображения на шинах видеоданных n-го набора для формирования данных комбинированного изображения n-го набора и выводят объединенные видеоданные комбинированного изображения n-го набора.
| Клееная деревянная балка | 1980 |
|
SU909070A1 |
| СИСТЕМА ДИСПЛЕЯ | 1991 |
|
RU2119187C1 |
| RU 2053597 C1, 27.01.1996. | |||
