СПОСОБ ИНТЕРАКТИВНОГО ТЕЛЕВИЗИОННОГО ВЕЩАНИЯ Российский патент 2016 года по МПК H04N19/124 H04N21/43 

Предлагаемое изобретение относится к области телевидения.

Традиционный метод передачи видеоизображения пользователю по каналу связи (телевидение) включает в себя следующие этапы:

фиксация изображения камерой (или системой из нескольких камер) и отображение полученной в результате этого информации в специальной области памяти (заэкранной матице);

компрессия полученной информации с использованием как внутрикадрового сжатия (с применением преобразований DWT (дискретное вейвлет-преобразование) или DCT (дискретное косинусное преобразование), так и межкадрового сжатия;

передача сжатой информации по каналу связи, в том числе с применением помехоустойчивого кодирования;

декомпрессия принятой информации;

отображение информации с заэкранной матрицы на устройстве визуализации (простой или составной экран).

При использовании фовеационных свойств человеческого зрения данный процесс выглядит по иному, появляется обратная связь между зрителем и системой компрессии изображения, то есть телевидение становиться интерактивным. Общая схема интерактивного телевидения показана на рисунке 1. Схема интерактивного телевидения отличается от схемы обычного телевидения прежде всего наличием устройства (7), определяющего направление взгляда зрителя (6). Информация о текущем направлении взгляда передается по обратному каналу связи (8) и используется в устройстве компрессии изображения (2).

Хорошо известно, что разрешающая способность периферийного зрения существенно ниже разрешающей способности центрального (фовеального) зрения (вблизи зоны фовеа). Данное обстоятельство можно учесть в процессе компрессии изображения, то есть качество передаваемого изображения должно быть максимальным вблизи точки, в которую направлен взгляд, и быстро убывать к периферии. Такой подход позволяет существенно увеличит степень компрессии, и соответственно, уменьшить объем передаваемой по каналу связи видеоинформации. Текущее направление взгляда соответственно учитывается в процессе декомпрессии принятой видеоинформации и в процессе отображения на устройстве визуализации. Предлагаемые ранее методы интерактивного телевидения, например способ интерактивного телевидения, использующий фовеационные свойства глаз индивидуальных и групповых пользователей, известный из патента на изобретение RU 2220514, выбранный в качестве ближайшего аналога изобретения, использовали, по сути, тем или иным образом, лишь различную степень децимации изображения (укрупнение пикселей) в зависимости от удаленности участков изображения от зоны фовеа.

Методы сжатия изображения на основе DWT или DCT, использующие корреляцию между соседними пикселями и различную чувствительность зрения к различным пространственным частотам, при этом не использовались. С другой стороны, методы традиционного телевидения, использующие методы сжатия видеоизображения на основе DWT или DCT, не учитывают фовеационных свойств человеческого зрения.

Следовательно, задача применения методов сжатия видеоизображения, использующих как фовеационные свойства человеческого зрения, так и методы на основе DWT или DCT, является актуальной. Однако разработка подобных методов сопряжена с рядом объективных трудностей, так как для использования методов сжатия на основе DWT или DCT необходимы таблицы квантования коэффициентов соответствующих преобразований. От того, насколько удачно подобраны значения данных коэффициентов, собственно и зависит высокая степень сжатия информации, с одной стороны, и отсутствие заметных для зрителя искажений изображения, с другой стороны.

Используемые таблицы квантования DWT и DCT традиционно оптимизированы прежде всего с точки зрения максимизации отношения сигнал/шум - PSNR, определяемого по формуле

где P_i - максимальное значение пикселя,

RMSE - квадратный корень из среднеквадратичной ошибки между исходным и восстановленным изображением, определяемый по формуле

где n - число пикселей изображения,

P_i - значения пикселей исходного изображения,

Q_i - значения пикселей восстановленного сжатого изображения.

Дополнительно следует отметить то, что значительное внимание традиционно уделяется субъективной оценке качества восстановленного изображения зрителем. Однако при этом не учитываются фовеационные свойства человеческого зрения; не учитывается, с какого расстояния данное изображение будет рассматриваться зрителем, то есть видимый угловой размер пикселя остается неопределенным; не учитываются особенности зрения конкретного зрителя.

Таким образом, известные таблицы квантования коэффициентов DWT и DCT не пригодны для использования в методах интерактивного телевидения, учитывающих фовеационные свойства зрения, в том числе индивидуального зрителя. Отсутствуют также методы получения значений данных коэффициентов для периферических зон зрения.

В свою очередь предложенный способ интерактивного телевизионного вещания характеризуется следующими отличиями от аналога, позволяющими преодолеть перечисленные выше проблемы.

1) Предлагается способ определения индивидуальной чувствительности зрителя к специальным визуальным стимулам, имеющим компактный пространственный спектр, для различных полей центрального и периферического зрения. Полученные значения позволяют непосредственно рассчитать оптимальные таблицы квантования коэффициентов DWT всех масштабов, для всех полей зрения индивидуального зрителя.

2) Предлагается способ разбиения заэкранной матрицы на сегменты различного размера, расположение которых зависит от текущего направления взгляда зрителя. В различных сегментах проводится разная степень децимации изображения, а так же компрессия с применением DWT с использованием различных для каждого типа сегментов таблиц квантования, оптимизированных для индивидуального пользователя.

3) Предлагается способ, позволяющий корректировать коэффициенты квантования в зависимости от положения участка изображения на заэкранной матрице и учитывать, таким образом при компрессии, масштабные искажения, неизбежные при отображении широкоугольного изображения на заэкранной матрице.

Таким образом, в предложенном изобретении предлагается способ определения индивидуальной чувствительности зрителя к визуальным стимулам, имеющим компактный пространственный спектр, для различных полей центрального и периферического зрения. Спектр пространственных частот этих стимулов должен быть близок или совпадать со спектром пространственных частот высокочастотных (ВЧ) фильтров используемого DWT. Полученные значения позволяют непосредственно рассчитать таблицы квантования коэффициентов DWT всех масштабов, для всех полей зрения индивидуального зрителя. Использование полученных таким образом таблиц квантования совместно с методом интерактивного телевидения позволяет получить коэффициент внутрикадрового сжатия изображения в 40 раз больший, чем при использовании традиционных методов сжатия изображения с применением DWT (при поле зрения зрителя размером 180° по горизонтали и 90° по вертикали).

Для определения индивидуальной чувствительности пользователя (зрителя) при практическом использовании предложенного изобретения могут быть использованы различные визуальные стимулы для определения чувствительности его зрительной системы, в том числе показанные на рисунке 2.

Возможность использования визуальных стимулов может быть обоснована следующим образом (на пример использования рисунка 2).

Традиционно, при кодировании цветного изображения исходные красная (R), зеленая (G) и синяя (Б) составляющие сигнала преобразовываются в яркостную Y и две цветоразностные составляющие Cb и Cr по стандартным формулам

Обратные преобразования выглядят следующим образом

Соответственно, для дальнейшего кодирования при помощи DWT и компрессии используются не RGB отставляющие, а одна яркостная Y и две цветоразностные составляющие Cb и Cr. Поэтому необходимо исследование чувствительности зрения зрителя к визуальным стимулам трех типов: черно-белому, красно-зеленому и сине-желтому.

Как известно, зрительная система человека более чувствительна к протяженным деталям изображения, таким как контрастные линии и перепады яркости, и менее чувствительна к отдельным контрастным точкам. Поэтому визуальные стимулы, используемые для определения чувствительности зрения, могут иметь вид чередующихся черно-белых или цветных полосок, подобных тем, что показаны на рисунке 2. Длина каждой полоски в 12 раз больше ее ширины. Для того чтобы сделать пространственный спектр стимулов более компактным, контрастность полосок должна линейно убывать от центра стимула к его краям. Фон всего изображения должен быть серым, то есть R=127, G=127, B=127. Исследование должно проводиться для стимулов как с вертикальной ориентацией полосок, так и с горизонтальной ориентацией полосок. Используются стимулы, содержащие 16 и 8 полосок. Значения светимости и цветоразностные компоненты для черно-белых стимулов определяются по формулам

где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.

Konfr=1-127 контраст стимула.

где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.

Kontr=1-127 контраст стимула.

Стимулы с 16 полосками используются для больших значений контраста:

Kontr=5-127.

Стимулы с 8 полоскам используются для малых значений контраста:

Konfr=1-4.

Для определения чувствительности зрительной системы к цветоразностным компонентам изображения используются аналогичные стимулы, содержащие 16 и 8 полосок. Значения светимости и цветоразностные компоненты для красно-зеленых стимулов определяются по формулам:

где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.

где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.

Kontr=1-64 цветовой контраст стимула.

Значения светимости и цветоразностные компоненты для сине-желтых стимулов определяются по формулам:

где i = -8, -7, -6, -5, -4, -3, -2, -1, 1, 2, 3, 4, 5, 6, 7, 8 номер полоски.

где i = -4, -3, -2, -1, 1, 2, 3, 4 номер полоски.

Konfr=1-64 цветовой контраст стимула.

Стимулы с 16 полосками используются для больших значений контраста:

Kontr=5-64.

Стимулы с 8 полоскам используются для малых значений контраста:

Konfr=1-4.

Зрительная система более чувствительна к движущимся объектам, поэтому все стимулы должны быть мерцающими. Каждый стимул появлялся на экране на 1/10 секунды, затем исчезает на такое же время.

Для определения чувствительности конкретного зрителя к визуальным стимулам должна использоваться та же система визуализации изображения (простой или составной экран), которая затем будет применяться в системе интерактивного телевидения. В ходе эксперимента взгляд зрителя фиксируется в центре экрана на специальной метке. Метка может быть черно-белой, с высоким значением контраста. Ее видимые размеры должны составлять 8-16 угл. мин, и она должна мерцать (то появляться, то исчезать) с частотой около 10 Гц. На сегодняшний день эффективная диагностика зрения пользователя (зрителя) может проводиться только при его активном участии. Необходимо, чтобы тестируемый зритель знал о цели исследования, более того весьма желательно, чтобы зритель имел хотя бы общие представления о принципах интерактивного телевидения и о методах компрессии изображения. В перспективе можно предположить диагностику зрителя на основании предложенных методик без его обязательного участия.

Визуальные стимулы выводятся на экран системы визуализации в исследуемой области поля зрения. Для упрощения фиксации на центральной метке лучше использовать сразу два визуальных стимула, симметрично расположенных по разные стороны от центральной метки. Исследуемыми параметрами при этом являются азимут, угол места выводимого на экран визуального стимула, а так же ширина его полосок. Значения контраста стимула при этом меняются при помощи кнопок клавиатуры. Подбирая вручную значения контраста визуального стимула, зритель должен добиться того, чтобы стимул различался на гране порога чувствительности. При этом тестируемому зрителю необходимо разъяснить следующие особенности процедуры тестирования. Взгляд должен быть все время сосредоточен на центральной метке. Зрительный стимул должен восприниматься исключительно периферическим зрением. Недопустимо «подсматривать» за визуальными стимулами, используя короткие саккады. При определенной тренировке зритель может научиться подавлять подобные саккады. Для контроля может быть использована специальная камера, отслеживающая направление взгляда зрителя и издающая звуковой сигнал при отклонении взгляда от центральной метки. Зритель должен определять порог чувствительности к визуальному стимулу не по различимости всего стимула в целом (например, как более яркое или более темное пятно на сером фоне), а как различимость его «полосатости». Описанные выше исследования должны быть проведены для индивидуального зрителя, для всех полей его зрения, для визуальных стимулов, имеющих различную видимую угловую ширину полосок, для яркостной и обоих цветоразностных составляющих изображения. Желательно проведение серии исследований с их повтором несколько раз в разные дни и полученные в разные дни результаты усреднить. Полученные значения контраста для визуальных стимулов с различной шириной полосок могут быть непосредственно использованы для расчета таблиц квантования коэффициентов DWT в соответствующей зоне поля зрения.

Методика расчета таблиц квантования коэффициентов DWT может быть пояснена на следующем примере.

Допустим, в некоторой области периферического зрения различимы черно-белые визуальные стимулы с видимой шириной полоски в 2 угл. мин только при максимальном контрасте Kontr=127. При этом визуальные стимулы с меньшей шириной полоски не различимы ни при каком контрасте стимула.

Допустим так же, что при отображении видеоинформации из камеры (или системы камер) в соответствующую область памяти (заэкранную матрицу) 1 пиксель заэкранной матрицы соответствует полю зрения в 1 угл. мин, что есть максимальная разрешающая способность человеческого зрения. При этом, разумеется, необходимо отметить, что при отображении широкоугольного изображения на плоскость битовой матрицы возникнут искажения масштаба и соответствие 1 пиксель - 1 угл. мин поля зрения будет выполняться только для центра матрицы, по краям оно будет несколько меньше.

В рассматриваемой области периферического зрения для черно-белой составляющей необходимо выполнить предварительную 2-кратную децимацию, так как детали изображения меньшего размера все равно не различимы. Далее необходимо выполнить в данной области многоуровневое DWT. Затем полученные коэффициенты DWT делятся на соответствующие коэффициенты квантования, различные для разных масштабов преобразования. Результат деления округляется до ближайшего целого. Затем производится энтропийное кодирование, например, по алгоритму SPIHT.

Для рассматриваемой зоны коэффициент квантования 1-го уровня DWT получается в результате умножения значения контраста для стимула с шириной полосок в 2 угл. мин на некоторое число Koef. Коэффициент квантования 2-го уровня DWT может быть получен в результате умножения значений контраста для стимула с шириной полосок в 4 угл. мин на то же число Koef. Аналогично, при нахождении значения коэффициента квантования 3-го уровня DWT для данной области изображения используются значения контраста для стимула с видимой шириной полосок 8 угл. мин.

Для других областей поля зрения, а так же для цветоразностных составляющих изображения степень децимации изображения и значения коэффициентов квантования DWT всех уровней определяется аналогично. При этом значение числа Koef является постоянной для всех полей зрения, всех уровней разложения и всех компонент изображения, и определяется только типом DWT. Значение числа Koef может быть легко найдено экспериментально. Например, для фильтров CDF97 при значении Koef=0,5 изображение имеет практически идеальное качество.

При использовании сепарабельного DWT коэффициенты разложения, полученные в результате НЧ-фильтрации по вертикали и ВЧ-фильтрации по горизонтали, должны квантоваться на основании контраста для визуальных стимулов с вертикальными полосками. Напротив, коэффициенты сепарабельного DWT, полученные в результате ВЧ-фильтрации по вертикали и НЧ-фильтрации по горизонтали, должны квантоваться на основании контраста для визуальных стимулов с горизонтальными полосками.

Коэффициенты сепарабельного DWT, полученные в результате ВЧ-фильтрации как по вертикали, так и по горизонтали, вычисляются на основании полученных значений различимого контраста визуальных стимулов особого типа, которые представляют из себя черно-белые (для определения коэффициентов квантования DWT Y составляющей), красно-зеленые (для Cr составляющей) или сине-желтые (для Cb составляющей) квадраты, чередующиеся в шахматном порядке. Причем контраст квадратов убывает от центра визуального стимула к периферии. Мерой пространственной частоты в этом случае служит не ширина полосок, а размер квадратов. Вид черно-белых визуальных стимулов это типа размером 15×15 квадратов задается формулой

где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбца;

j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.

Konfr=1-127 контраст стимула.

Черно-белые визуальные стимулы меньшего размера 7x7 квадратов задаются формулой

где i = -3, -2, -1, 0, 2, 3 номер столбца;

j = -3, -2, -1, 0, 2, 3 номер строки.

Kontr=1-127 контраст стимула.

Стимулы размером 15×15 квадратов используются для больших значений контраста: Kontr=5-127. Стимулы размером 7×7 квадратов используются для малых значений контраста: Konfr=1-4.

Для определения чувствительности зрительной системы к цветоразностным компонентам изображения используются аналогичные стимулы, размером 15×15 и 7×7 квадратов. Значения светимости и цветоразностные компоненты для красно-зеленых визуальных стимулов определяются по формулам:

где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбца;

j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.

где i = -3, -2, -1, 0, 2, 3 номер столбца;

j = -3, -2, -1, 0, 2, 3 номер строки.

Kontr=1-64 цветовой контраст стимула.

Значения светимости и цветоразностные компоненты для сине-желтых визуальных стимулов определяются по формулам:

где i = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер столбца

j = -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7 номер строки.

где i = -3, -2, -1, 0, 2, 3 номер столбца, j = -3, -2, -1, 0, 2, 3 номер строки.

Kontr=1-64 цветовой контраст стимула.

Для нахождения оптимальных для каждого пользователя таблиц квантования DWT можно успешно использовать не только приведенные на рисунке 2 визуальные стимулы, но и визуальные стимулы любого другого вида, принципиальными являются только следующие обстоятельства:

A) спектр пространственных частот стимула должен быть компактным;

Б) при нахождении коэффициента квантования для элементов DWT конкретного уровня для участка изображения, имеющего конкретное положение относительно точки, в которую направлен взгляд, нужно использовать визуальный стимул, имеющий спектр пространственных частот, близкий или совпадающий со спектром пространственных частот ВЧ-фильтра DWT данного уровня разложения;

B) найденные значения контраста таких стимулов (при котором зрение еще способно их различать) пересчитываются в значения коэффициентов квантования элементов DWT при помощи умножения на некоторый коэффициент, постоянный для всех уровней DWT, всех полей зрения, всех зрителей (значения данного коэффициента легко находятся экспериментально и могут отличаться в зависимости от типа DWT (сепарабельное или несепарабельное), используемых фильтров DWT, используемых визуальных стимулов, по сути значение данного коэффициента определяет качество изображения в целом);

Г) при тестировании должна использоваться та же система визуализации изображения (простой или составной экран), с теми же настройками, какие будут использоваться далее для просмотра изображения данным зрителем, одинаковым при тестировании и при дальнейшем использовании должно быть также положение зрителя относительно системы визуализации.

Различная степень децимации изображения в различных полях зрения позволяет осуществить грубую оптимизацию качества изображения. Использование различных таблиц квантования коэффициентов DWT для различных областей поля зрения позволяет осуществить более тонкую настройку, для учета индивидуальных особенностей зрения зрителя, и повысить коэффициент компрессии информации. Описанная выше методика позволяет получить таблицы квантования коэффициентов DWT, которые в свою очередь могут быть использованы для реализации метода интеактивного телевидения, использующего особенности фовеационного и периферического зрения индивидуального зрителя.

Предложенный способ интерактивного телевизионного вещания включает в себя способ деления изображения на сегменты, размер и положение которых зависят от направления взгляда зрителя. Изображение в данных сегментах подвергается разной степени децимации, группы пикселей усредняются с целью образования так называемых макропикселей. Степень децимации (размер макропикселей) зависит от положения сегмента изображения относительно точки, в которую в данный момент времени направлен взгляд зрителя. При кодировании сегментов, полученных в результате децимации изображения, используются таблицы квантования коэффициентов DWT, значения элементов в которых зависит также от положения сегмента относительно центра заэкранной матрицы (для учета масштабных искажений, неизбежных при отображении широкоугольного изображения на плоскость заэкранной матрицы), а так же от положения сегмента относительно точки, в которую направлен взгляд зрителя, и может быть индивидуально для каждого зрителя, то есть учитывать индивидуальные особенности зрения зрителя.

Данная методика подразумевает, что изображение, фиксируемое одной или несколькими камерами, отображается в области памяти - заэкранной матрице записи. Закон отображения в общем виде выглядит следующим образом

где I, J - координаты пикселя заэкранной битовой матрицы записи;

φ, ϕ - азимут и угол места объекта, соответствующего данному пикселю.

Обратное преобразование имеет вид

При кодировании цветного изображения предполагается, что исходные красная (R), зеленая (G) и синяя (Б) составляющие сигнала преобразовывались в яркостную Y и две цветоразностные составляющие Cb и Cr по стандартным формулам (3).

Предлагаемый способ допускает два возможных варианта построения системы интерактивного телевидения - вариант А и вариант В.

В варианте А для получения высокого качества изображения пиксель в центре заэкранной матрицы записи должен соответствовать полю зрения в 1 угл. мин, что близко к пределу разрешающей способности человеческого зрения. Поскольку поле зрения зрителя весьма широкое - 180° по горизонтали и 90° по вертикали, то система визуализации (составной экран) должна иметь очень большое количество пикселей 60-75 Мпикс. Аналогичное разрешение должна иметь система фиксации изображения (сверхширокоугольная камера или система из нескольких камер). Практическая реализация такой системы может быть достаточно трудной.

В варианте В пиксель в центре заэкранной матрицы записи должен соответствовать полю зрения в 2 угл. мин, что, при правильной стратегии квантования элементов DWT, не вызовет заметного снижения качества изображения. Система визуализации (составной экран) при этом может быть реализована на основе 9 стандартных ЖК матриц с разрешением Full HD 1920×1080, как показано на рисунке 3 (0F - точка фиксации взгляда). В варианте А система визуализации может выглядеть аналогично, но потребуются ЖК матрицы с вдвое большим разрешением 3840×2048.

Плоскость заэкранной матрицы записи разбивается на сегменты, имеющие различный размер. Положение сегментов зависит от текущего направления взгляда зрителя. Пиксели заэкранной битовой матрицы записи подвергаются децимации и вычисляются значения макропикселей заэкранной матрицы компрессии, то есть макропиксели матрицы компрессии есть, по сути, децимированные пиксели матрицы записи. Степень децимации (и соответственно размер макропикселей) зависит от типа сегмента. Пример расположения сегментов показан на рисунке 4.

Обозначим текущее направление взгляда оператора как (φ_в, ϕ_в). Согласно формуле 11 объект, на который направлен взгляд, имеет координаты (I_в, J_в) на заэкранной битовой матрице записи. Значение яркостной составляющей Y пикселей заэкранной битовой матрицы записи вблизи точки (I_в, J_в) переносится на заэкранную матрицу компрессии без децимации. Значение цветоразностных составляющих Cb и Cr подвергается 2-кратной децимации (в варианте А). Таким образом формируются зоны OF и 0.

Зона OF в варианте А имеет размер 256×256 (в варианте В 128×128) пикселей для составляющей Y, и 128×128 пикселей для Cb и Cr для обоих вариантов, что соответствует полю зрения 4,27°×4,27° (без учета искажения масштаба). Это превышает размер зоны фовеального зрения, составляющей 2°×2°. Этот запас необходим, так как принятая допустимая погрешность определения направления взгляда может составлять 1°. Зона 0F имеет наивысшее качество изображения.

В варианте А область OF окружена рамкой зоны 0 шириной 128 пикселей. Зона 0 разбита на 12 сегментов размером 128×128 пикселей для составляющей Y и 64×64 пикселей для Cb и Cr. Каждый сегмент разделен на четыре подсегмента, обозначенные как 0а, 0b, 0с, 0d, 0е.

В варианте В область OF окружена рамкой зоны 0 шириной 64 пикселей. Зона 0 разбита на 12 сегментов размером 64×64 пикселей для составляющей Y и 64×64 пикселей для Cb и Cr. Каждый сегмент разделен на четыре подсегмента, обозначенных как 0а, 0b, 0с, 0d, 0е.

В этих подсегментах используются различные таблицы квантования DWT. Легко заметить, что расстояние от точки взгляда (I_в, J_в) до подсегментов 0а меньше, чем до подсегментов 0b, для подсегментов 0b меньше, чем для подсегментов 0с и т.д. Соответственно, для более удаленных от точки, в которую направлен взгляд подсегментов, коэффициенты квантования элементов DWT более грубые. Это позволяет осуществлять более точную оптимизацию качества изображения.

В свою очередь зона 0 заэкранной матрицы записи окружена рамкой, имеющей в варианте А ширину 512 пикселей, а в варианте В ширину 256 пикселей. Эта рамка образует зону 1. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 2-кратной децимации Y составляющей и 4-кратной децимации Cb и Cr.

В варианте В для составляющей Y децимация не используется, а для составляющих Cb и Cr используется 2-кратная децимация. В любом варианте размер макропикселя для составляющей Y соответствует полу зрения в 2 угл. мин (без учета искажения масштаба). Эти макропиксели объединены в 9 независимых сегментов. Размер сегментов составляет соответственно 256×256 макропикселей для Y и 128×128 для Cb и Cr. Каждый сегмент разделен на 16 подсегментов с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 1а, 1b, 1с, 1d, 1е, 1f, 1g, 1h, 1i.

В варианте А зона 1 заэкранной матрицы записи окружена рамкой шириной 768 пикселей, образующей зону 2. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 4-х кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.

В варианте В зона 1 заэкранной матрицы записи окружена рамкой шириной 384 пикселей, образующей зону 2. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 2-кратной децимации Y составляющей и 4-кратной децимации Cb и Cr.

Для обоих вариантов макропиксели зоны 2 объединены в 12 независимых сегментов. Размер сегментов составляет соответственно 192×192 макропикселей для Y и 96×96 для Cb и Cr. Сегменты кодируются независимо. Каждый сегмент разделен на 9 подсегментов с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 2а, 2b, 2с, 2d, 2е, 2f, 2g, 2h.

В варианте А зона 2 заэкранной матрицы записи окружена рамкой шириной 1024 пикселей, образующей зону 3. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей и 16-кратной децимации Cb и Cr.

В варианте В зона 2 заэкранной матрицы записи окружена рамкой шириной 512 пикселей, образующей зону 3. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 4-кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.

Для обоих вариантов макропиксели зоны 3 объединены в 16 независимых сегментов. Размер сегментов составляет соответственно 128×128 макропикселей для Y и 64×64 для Cb и Cr. Сегменты кодируются независимо. Каждый сегмент разделен на 4 подсегмента с различными таблицами квантования коэффициентов DWT. В зависимости от удаленности от центра OF подсегменты обозначаются 3а, 3b, 3c, 3d, 3e, 3f.

Вся остальная область заэкранной матрицы записи разбивается на сегменты зоны 4. В варианте А размер этих сегментов 1024×1024 пике. В этой зоне макропиксели матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей и 16-кратной децимации Cb и Cr.

В варианте В размер этих сегментов на матрице записи составляет 512×512 пике. В этой зоне макропиксели матрицы компрессии в варианте В образуются из пикселей матрицы записи в результате 4-кратной децимации Y составляющей и 8-кратной децимации Cb и Cr.

Для обоих вариантов размер сегментов зоны 4 составляет соответственно 128×128 макропикселей для Y и 64×64 для Cb и Cr. Таблицы квантования коэффициентов DWT зоны 4 такие же, как в подсегментах 3f, что обеспечивает самый низкий уровень качества изображения.

Границы матрицы записи не всегда совпадают с границами сегментов. В этом случае меняется размер сегментов, находящихся у границы, из квадратных они становятся прямоугольными.

В каждом сегменте изображение кодируется независимо с использованием нечетного продолжения на краях (при использовании нечетных фильтров, например CDF97) и передается по каналу связи. Это необходимо, чтобы избежать значительной буферизации данных, неприемлемой в системе реального времени.

Система интерактивного телевидения, использующая отличия фовеационного и периферийного зрения, обеспечивает особенно большой выигрыш в степени компрессии информации по сравнению с обычным телевидением при очень широком поле зрения. В данном методе предлагается использовать поле зрения 180° по вертикали и 90° по горизонтали. Как уже отмечалось ранее, отображение широкоугольного изображения на плоскость заэкранной матрицы записи без искажений невозможно.

Для практического использования способа предлагается использовать равноугольную проекцию Меркатора. При этом координаты пикселей заэкранной матрицы записи (I, J) и угловые координаты объектов, которые им соответствуют (φ, ϕ), связаны следующими соотношениями

I=koef·φ

где φ - азимут объекта;

ϕ - угол места объекта.

если разрешение системы составляет 1 угл. мин - вариант А.

если разрешение системы составляет 2 угл. мин - вариант В.

Формула (13) является частным случаем формулы (11) для проекции Меркатора. Обратные преобразования (частный случай формулы 12 для проекции Меркатора) выглядят следующим образом:

φ=I/koef

где φ - видимый с места зрителя азимут пикселя устройства визуализации;

ϕ - видимый с места зрителя угол места пикселя устройства визуализации.

Для данной проекции характерны искажения масштаба в зависимости от угла места:

где М - относительный масштаб.

При ϕ=0 (J=0), т.е. вдоль средней горизонтальной линии - экватора М=1, а выше и ниже этой линии М>1. Данное обстоятельство необходимо учитывать при вычислении таблиц квантовании коэффициентов DWT.

То есть, изображение на краях заэкранной матрицы окажется несколько растянутым по сравнению с изображением в центре. При отображении на устройстве визуализации изображение вновь сожмется и зритель не заметит искажений. Однако, для того чтобы растянутое изображение не содержало избыточную информацию, коэффициенты квантования должны быть откорректированы, проще говоря, квантование этих участков должно быть грубее. Таким образом, таблицы квантования учитывают не только фовеационные свойства взгляда пользователя, но и искажения масштаба изображения, возникающие при отображении широкоугольного изображения на плоскость.

Другими словами коэффициенты квантования элементов DWT должны зависеть не только от типа сегмента и подсегмента (т.е. от удаленности участка изображения от точки, в которую направлен взгляд), но и от того, в каком месте матрицы записи находиться данный участок изображения. В данном методе предлагается разбить плоскость матрицы записи на горизонтальные пояса по широтам.

В экваториальном поясе ϕ=±20° масштабные искажения малы и можно принять М=1. В поясах шириной 10°, лежащих выше и ниже экваториального пояса, -30<ϕ<-20 и 20<ϕ<30 М=1,1. В следующих поясах -40<ϕ<-30 и 30<ϕ<40 М=1,22. И, наконец, на нижнем и верхнем крае матрицы -45<ϕ<-40 и 40<ϕ<45 М=1,34.

При составлении таблиц квантования коэффициентов DWT для различных сегментов и подсегментов при помощи экспериментального определения чувствительности зрения зрителя к визуальным стимулам следует учитывать искажение масштаба.

Делается это следующим образом. Например, в зоне 3 макропиксели черно-белой составляющей матрицы компрессии в варианте А образуются из пикселей матрицы записи в результате 8-кратной децимации Y составляющей. Поскольку на экваторе (ϕ=±20 и М=1) заэкранной битовой матрицы записи пиксель соответствует углу зрения в 1 угл. мин, то полученный в результате 8-кратной децимации макропиксель битовой матрицы компрессии соответствует углу поля зрения 8 угл. мин. Подсегмент 3а находится на расстоянии 1792 угл. мин (29,86°) от центра зоны OF. Следовательно, для определения коэффициента квантования DWT 1-го уровня этого подсегмента необходимо определить чувствительность периферического зрения зрителя к черно-белым визуальным стимулам с видимой шириной полосок 8 угл. мин, находящимся на расстоянии 1792 угл. мин от зоны фовеа. Для определения коэффициентов квантования 2-го уровня нужны стимулы с видимой шириной полосок 16 угл. мин. Для 3-го уровня 32 угл. мин и т.д.

Если тот же подсегмент 3а лежит не в экваториальном поясе, а, к примеру, в поясе 30<ϕ<40, где М=1,22, то коэффициент квантования 1-го уровня будет определяться при помощи визуальных стимулов с видимой шириной полосок не 8 угл. мин, как в экваториальном поясе, а 8/М=8/1,22=6,56 угл. мин, находящимся на расстоянии 1792 угл. мин от зоны фовеа. Для коэффициентов квантования 2-го уровня DWT потребуется исследование чувствительности к визуальным стимулам с видимой шириной полосок 16/М=16/1,22=13,11 угл. мин. Для 3-го уровня 32/M=32/1,22=26,23 угл. мин и т.д.

В таблице 1 показаны значения ширины полосок визуальных стимулов, используемых для определения величины квантования коэффициентов DWT, для всех типов сегментов в зависимости от положения участка изображения относительно экватора заэкранной матрицы, то есть показана зависимость видимой ширины полосок визуального стимула, используемого для определения значения коэффициента квантования, от уровня DWT и положения участка изображения относительно экватора заэкранной матрицы при использовании проекции Меркатора.

Полученные при помощи описанных методов таблицы квантования DWT могут быть использованы при сжатии изображения. Сжатая информация согласно рисунку 1 передается по каналу связи (3) зрителю. При декомпрессии сигнала (4) принятые значения коэффициентов DWT умножаются на соответствующие коэффициенты квантования, и проводится обратное DWT. Таким образом, получается матрица декомпрессии, аналогичная матрице компрессии. Матрица декомпрессии несколько отличается от матрицы компрессии, так как сжатие при помощи DWT при квантовании коэффициентов является сжатием с потерями. Затем, при использовании информации о текущем направлении взгляда зрителя и с использованием интерполяции, происходит восстановление заэкранной матрицы воспроизведения, аналогичной заэкранной матрице записи. Матрица воспроизведения несколько отличается от матрицы записи, однако, при правильном подборе коэффициентов квантования разница будет незаметна зрителю. Матрица воспроизведения используется непосредственно для отображения видеоинформации на устройстве визуализации (5), при этом используется формула 12 (в случае проекции Меркатора формула 14).

Таким образом, предложен способ интерактивного телевизионного вещания, использующий переменный размер пикселя и индивидуальные для пользователя таблицы квантования, преимущественно коэффициентов DWT, в различных участках поля зрения, позволяющие оптимизировать качество изображения и степень его сжатия.

Изобретение относится к области телевидения для передачи видеоизображений по каналу связи. Техническим результатом является обеспечение интерактивного телевизионного вещания, учитывающего индивидуальные особенности зрения пользователя, в котором рассчитывают оптимальные таблицы квантования коэффициентов дискретного вейвлет преобразования (DWT) всех масштабов, для всех полей зрения пользователя, корректируют коэффициенты квантования в зависимости от положения участка изображения на заэкранной матрице, таким образом, учитывают масштабные искажения при компрессии, которую выполняют с применением DWT и с использованием различных для каждого типа сегментов таблиц квантования. Предложен способ интерактивного телевизионного вещания, учитывающий индивидуальные особенности зрения, где осуществляют экспериментальную диагностику индивидуальной чувствительности зрения пользователя с использованием видимых пользователем изображений - зрительных стимулов с дальнейшим сведением результатов данной диагностики в таблицы квантования. Контроль фовеационных свойств взгляда пользователя, а также компрессию, декомпрессию и/или передачу видеоизображений по каналу связи выполняют с учетом диагностики индивидуальной чувствительности зрения пользователя. 1 з.п. ф-лы, 4 ил., 1 табл.

1. Способ интерактивного телевизионного вещания, учитывающего индивидуальные особенности зрения, предусматривающий:
получение изображения по меньшей мере одной камерой, с дальнейшей его записью в область памяти, именуемую далее заэкранной матрицей записи,
компрессию полученного изображения в пространстве заэкранной матрицы записи;
передачу по каналу связи,
прием, декомпрессию в область памяти, именуемую далее заэкранной матрицей воспроизведения, и трансляцию изображения с заэкранной матрицы воспроизведения, по меньшей мере, на одном пользовательском устройстве визуализации,
причем компрессию, декомпрессию и трансляцию изображения выполняют с учетом результатов контроля фовеационных свойств глаз, то есть направления взгляда по меньшей мере одного зрителя, выраженного в угловых координатах,
отличающийся тем, что:
на пользовательском устройстве осуществляют трансляцию широкоугольного изображения, причем до получения изображения, осуществления компрессии, декомпрессии и трансляции изображения предварительно проводят диагностику индивидуальной чувствительности зрения по меньшей мере одного зрителя с использованием видимых зрителем изображений - зрительных стимулов, представляющих собой мерцающие объекты в виде чередующихся черно-белых, красно-зеленых, сине-желтых полосок различной ширины, контрастность которых убывает от центра к краям стимула, имеющих компактный пространственный спектр, которые поочередно выводят на экран в различных позициях поля зрения одного зрителя, выраженных относительно направления взгляда одного зрителя в угловых координатах, при котором зритель самостоятельно изменяет значение контраста каждого стимула и определяет его значение на грани порога чувствительности к каждому стимулу для всех положений стимула относительно направления взгляда и для различных стимулов, имеющих разную пространственную частоту, и рассчитывают коэффициенты квантования элементов всех уровней DWT путем умножения значения контраста стимулов на грани порога чувствительности зрителя, имеющего, с учетом масштабного искажения, пространственную частоту, соответствующую данному уровню DWT, на постоянный для всех уровней DWT коэффициент, значение которого определяют экспериментально для используемого набора фильтров DWT, путем подбора для получения желаемого качества изображения,
после чего осуществляют получение широкоугольного изображения с записью в область памяти с использованием проекции Меркатора,
проводят компрессию, при которой пиксели изображения заэкранной матрицы записи делят на сегменты, расположение которых зависит от текущего направления взгляда зрителя, и каждый из сегментов делят в свою очередь на подсегменты, в каждом из них определяют степень децимации изображения на заэкранной матрице записи с учетом определенной при диагностике ширины полосок стимулов, различимых при максимальном контрасте, и с учетом того, что визуальные стимулы с меньшей шириной полоски не различимы ни при каком контрасте стимула,
в положении, соответствующем положению данного подсегмента, относительно направления взгляда зрителя, выраженного в угловых координатах, с учетом масштабных искажений,
каждый из сегментов кодируют независимо и передают по каналу связи зрителю, при этом при квантовании элементов всех уровней DWT используют коэффициенты квантования DWT, рассчитанные при диагностике, с учетом положения на заэкранной матрице записи элемента DWT относительно текущего направления взгляда зрителя, выраженного в угловых координатах, с учетом масштабных искажений с дальнейшей декомпрессией и трансляцией изображения на устройстве визуализации.

2. Способ интерактивного телевизионного вещания по п. 1, отличающийся тем, что при определении коэффициентов квантования дополнительно учитывают положение участка изображения относительно экватора заэкранной матрицы записи.