СПОСОБ КОМПЕНСАЦИИ ДВИЖЕНИЯ В ЦИФРОВЫХ ДИНАМИЧЕСКИХ СТЕРЕОВИДЕОИЗОБРАЖЕНИЯХ Российский патент 2015 года по МПК H04N19/56 H04N19/597 

Техническое решение относится к области цифрового телевидения, в частности, к способам компенсации движения в цифровых динамических стереовидеоизображениях и может быть применено в цифровых телевизионных системах широкого вещания, использующих стереовидеокодеки и работающих в режиме реального времени.

Известен аналогичный способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, Т.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR 2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком данного аналога является низкое среднее значение пропускной кадровой способности при обработке стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.

В качестве прототипа выбран способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, T.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком прототипа является низкое среднее значение пропускной кадровой способности при обработке кадрового стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.

Задачей технического решения является существенное увеличение средних значений пропускных кадровых способностей стереовидеокодеков при обработке кадровых стереовидеопотоков в режиме реального времени, и при незначительном снижении средних значений объемов кода и качества декодируемых изображений.

Поставленная задача решается благодаря тому, что в способе компенсации движения в цифровых динамических видеоизображениях, содержащем следующую последовательность действий: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индексы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, а перед проведением поиска макроблочных прогнозов осуществляют экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений; предусмотрены следующие отличия: в процессе проведения видеокодеком компенсации движения в стереопарах видеопотока, используют сочетание поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям, для этого, перед эксплуатацией видеокодека, проверяют наличие таймера в составе кодера, причем, в случае его изначального отсутствия, в состав кодера дополнительно вводят таймер, в процессе обработки кадрового стереопотока, сразу после получения каждой очередной стереопары, кодером опрашивают таймер, после чего, по данным опроса таймера, за стереопарой закрепляют отметку реального времени, при этом единицы измерения времени задают предварительно, а после получения временной отметки текущей стереопары ее значение сравнивают со значением временной отметки предыдущей стереопары, причем в случае равенства, по результатам сравнения значений этих временных отметок к значению временной отметки текущей стереопары, добавляют коррекционное значение временных отметок стереопар, величину которого устанавливают предварительно положительным числом, меньшим или равным выбранной единице измерения времени, в процессе обработки стереопотока для каждой опорной стереопары кодером осуществляют прогноз компенсации движения по тем же правилам и с использованием тех же параметров, что и при обработке прогнозируемой стереопары, но данные результата этого прогноза не используют для кодирования и передачи декодеру, кроме данных результата прогноза правого кадра, для внутренних и граничных макроблоков левого кадра каждой стереопары в процессе компенсации движения кодером дополнительно ищут параллельные векторы смещения, при этом в качестве параллельного ссылочного кадра, выбирают параллельный правый кадр видеопоследовательности, а алгоритм поиска лучших смещений задают аналогичным алгоритму поиска векторов параллельных макроблочных прогнозов правого кадр, в добавок к левому и правому кадровым потокам стереопары дополнительно вводят искуственный центральный кадровый поток, каждый кадр искуственного центрального потока логически разбивают на фрагменты, количество и взаимное расположение которых соответствует количеству и взаимному расположению макроблоков соответствующего левого кадра, за фрагментами центрального кадра закрепляют те же характеристики, что и за макроблоками левого кадра, далее в плоскостях кадровых изображений для всех кадровых потоков, включая искусственный центральный, перезадают три плоскостные прямоугольные декартовы системы координат, начала которых для всех потоков, включая центральный, задают центрами соответствующих им кадровых прямоугольников, оси абсцисс направляют вправо, оси ординат вверх, а в качестве единиц измерения по осям принимают пикселы, далее в дополнение к плоскостным системам координат вводят три пространственные прямоугольные декартовы системы координат, начала которых для левого и правого потоков совмещают с центральными точками прямоуголиников рабочих поверхностей соответствующих датчиков стереопары, а начало координат искуственного центрального кадрового потока задают серединой отрезка, соединяющего начала левой и правой пространственной систем координат, оси абсцисс направляют вправо, оси ординат вверх, оси аппликат направляют в сторону съемочной сцены, а в качестве единиц измерения по осям принимают метры, сразу после введения пространственных систем координат для всех фрагментов произвольно задают координаты положения их пространственных копий в центральной пространственной системе координат, затем для всех фрагментов и макроблоков перезадают координаты их положения в соответствующих плоскостных системах координат, причем плоскостные координаты каждого фрагмента и каждого макроблока задают координатами одной из его точек, а координатные точки фрагментов и макроблоков назначают таким образом, чтобы при перемещении любых двух фрагментов или макроблоков до совмещения их координатных точек наблюдалось бы полное совпадение положений остальных соответствующих точек фрагментов или макроблоков, в процессе обработки стереопотока матрицы сигналов фрагментов центрального кадра, признаки движения фрагментов, а также маски движения граничных фрагментов перезагружают соответствующими данными левого кадра сразу после их получения, для каждого кадра центрального видеопотока проводят последовательную компенсацию движения, аналогичную последовательной компенсации движения прогнозируемых кадров левого потока, при этом в качестве последовательного ссылочного прогнозового кадра используют предыдущий кадр центрального потока, каждый текущий кадр искуственного центрального потока, сразу после его фрагментации, дополнительно логически разбивают на системные блоки, при этом за каждым системным блоком закрепляют признак обработки системного блока с двумя возможными состояниями, соответствующими отсутствию обработки и наличию обработки, а форму и размер системных блоков выбирают такими, чтобы внутри системного блока содержалось целое число фрагментов и чтобы внутри системного блока имелись, как минимум, три фрагмента вместе с их ближайшими предыдущими соседями по координатным осям, далее внутри каждого системного блока выбирают по три расчетных фрагмента с условием наличия в текущем системном блоке ближайших предыдущих соседей выбранных расчетных фрагментов по координатным осям, затем за каждым фрагментом центрального кадра, а также за каждым макроблоком каждого кадра стереопары закрепляют признак аппроксимации движения с четырьмя возможными состояниями, соответствующими отсутствию аппроксимации движения, наличию системной аппроксимации движения, наличию индивидуальной аппроксимации движения и наличию поисковой аппроксимации движения, для всех стереопар видеопотока перед применением в кодере алгоритма поиска целочисленных векторов смещений макроблоков к лучшим прогнозам, но после экстраполяции ссылочных кадров проводят реконструкцию текущей запечатленной пространственной поверхности на основе динамического перерасчета пространственных координат копий фрагментов изображения, а затем, начиная с третьей и для всех последующих стереопар компенсацию движения в стереопарах с применением анализа движения фрагментов в плоскости кадрового изображения центрального потока с последующим проецированием изображений фрагментов на кадры стереопар посредством учета текущих рассчитанных пространственных координат копий фрагментов, при проведении приближенной геометрической реконструкции текущей запечатленной пространственной поверхности проводят сначала пространственную системную, а затем пространственную индивидуальную аппроксимацию движения копий фрагментов в центральной пространственной системе координат, причем непосредственно перед проведением пространственных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов сбрасывают в состояние отсутствия аппроксимации движения, текущим скоростям движения пространственных копий внешних фрагментов присваивают нулевые значения, а текущие координаты пространственных копий внешних фрагментов загружают предыдущими значениями, при проведении пространственной системной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для копий вложенных фрагментов каждого такого системного блока по каждой из трех пространственных координатных осей проводят аппроксимацию движения пространственных копий фрагментов, при этом для проведения пространственной системной аппроксимации движения используют уравнение пространственной системной аппроксимации движения вида

u_s - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;

t - время;

x - абсцисса фрагментов в заданной плоскостной центральной системе координат;

y - ордината фрагментов в заданной плоскостной центральной системе координат;

a_s,1, a_s,2, a_s,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;

в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты пространственной системной аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными рассчетными фрагментами, далее признаки аппроксимации движения вложенных фрагментов обрабатываемых системных блоков переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар для копий фрагментов с признаками системной аппроксимации движения рассчитывают текущие пространственные скорости движения копий фрагментов с применением указанного уравнения пространственной системной аппроксимации движения, а потом аппроксимационные значения текущих пространственных координат положения копий фрагментов, после чего проверяют условие незначительного изменения текущих пространственных координат копии фрагментов по сравнению с предыдущими координатами, причем математическую модель этого условия задают предварительно, в случае невыполнения данного условия текущие пространственные координаты копии фрагмента перезагружают предыдущими значениями, а признак аппроксимации движения соответствующего фрагмента сбрасывают в состояние отсутствия аппроксимации движения, при проведении пространственной индивидуальной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждой копии фрагмента с признаком индивидуальной аппроксимации движения по каждой из трех пространственных координатных осей проводят пространственную аппроксимацию движения с использованием уравнения пространственной индивидуальной аппроксимации движения вида

u_s - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;

t - время;

k_s - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;

в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем, по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопары текущие пространственные скорости и координаты копий фрагментов, далее для пространственной копии каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке копии фрагмента с признаком системной аппроксимации при проведении пространственной системной аппроксимации движения, начиная с проверки на незначительность изменений текущих пространственных координат копий фрагментов, при проведении компенсации движения в стереопаре проводят сначала плоскостную системную, далее плоскостную индивидуальную, а затем плоскостную поисковую аппроксимацию движения фрагментов в центральной плоскостной системе координат с последующим проецированием изображений фрагментов на кадры стереопары посредством учета пространственных координат копий фрагментов, причем непосредственно перед проведением плоскостных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов и макроблоков сбрасывают в состояние отсутствия аппроксимации движения, а целочисленные последовательные и параллельные векторы смещений внешних фрагментов текущего центрального кадра и макроблоков текущей стереопары принудительно заполняют нулевыми значениями, при проведении плоскостной системной аппроксимации движения сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для фрагментов каждого такого системного блока по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения, при этом для проведения плоскостной системной аппроксимации движения используют уравнение плоскостной системной аппроксимации движения вида

u_p - скорость фрагментов текущего системного блока по текущей координатной оси;

t - время;

x - абсцисса фрагментов в заданной плоскостной центральной системе координат;

y - ордината фрагментов в заданной плоскостной центральной системе координат;

a_p,1, a_p,2, a_p,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;

в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными рассчетными фрагментами, далее по каждой координатной оси проверяют конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задают предварительно, далее признаки аппроксимации движения вложенных фрагментов системных блоков, прошедших указанную проверку положительно, переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар для фрагментов с признаками системной аппроксимации движения рассчитывают текущие скорости движения фрагментов с применением укороченного уравнения плоскостной системной аппроксимации движения без слагаемых с пространственными производными, а потом рассчитывают аппроксимационные значения целочисленных векторов смещений фрагментов к лучшим прогнозам в рамках ссылочного экстраполированного кадра, далее проверяют условие попадания найденных аппроксимационных прогнозов в формат ссылочного экстраполированного кадра, а также условие удовлетворения прогноза аппроксимационному значению критерия качества прогноза, значение которого устанавливают предварительно, при этом в случае выполнения данных условий организуют укороченный поиск фрагментальных прогнозов в рамках ссылочного экстраполированного кадра, при этом центры соответствующих фрагментам областей поиска смещают по координатным осям на значения соответствующих найденных аппроксимационных векторов смещений, а геометрические размеры областей поиска уменьшают до значений, которые задают предварительно, в противном случае признак аппроксимации движения фрагмента сбрасывают в состояние отсутствия аппроксимации, далее изображения фрагментов с признаком системной аппроксимации движения проецируют на кадровые плоскости, при этом значения целочисленных векторов последовательных смещений внутренних и граничных макроблоков левого кадра к лучшим прогнозам в предыдущем ссылочном кадре загружают соответствующими найденными значениями векторов смещений фрагментов, а для рассчета значений векторов параллельных смещений для макроблоков левого и правого кадров определяют пары проекционных макроблоков в левом и правом экстраполированных кадрах, причем в алгоритм проецирования пространственных изображений на кадровые плоскости вводят использование направляющего вектора прямой, проходящей через начало соответствующей боковой пространственной системы координат и пространственную точку положения соответствующей копии фрагмента, а связь боковых плоскостных и соответствующих боковых пространственных систем координат задают с помощью координат направляющих векторов, далее проверяют условие совместного попадания проекционных макроблоков проекционных пар в форматы своих соответствующих экстраполированных кадров, в случае выполнения которого признаки аппроксимации движения соответствующих макроблоков проекционных пар устанавливают в состояние системной аппроксимации движения, далее при использовании координат проекционных пар определяют векторы параллельных смещений макроблоков с признаками системной аппроксимации движения для левого и правого кадров, после чего проверяют условия отрицательности прогнозовых смещений по абсциссе проекционных макроблоков левого кадра и условия положительности прогнозовых смещений по абсциссе проекционных макроблоков правого кадра, в случае невыполнения хотя бы одного из которых признак аппроксимации движения соответствующего макроблока сбрасывают в состояние отсутствия аппроксимации движения, при проведении плоскостной индивидуальной аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения с использованием уравнения плоскостной индивидуальной аппроксимации движения вида

u_p - скорость движения текущего фрагмента по текущей координатной оси;

t - время;

k_p - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси;

в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем, по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопар текущие скорости и целочисленные векторы смещения фрагментов к аппроксимационным прогнозам, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком системной аппроксимации при проведении системной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении плоскостной поисковой аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние поисковой аппроксимации движения, далее целочисленные векторы прогнозовых смещений фрагментов находят стандартным образом через организацию поиска прогнозов в предыдущем ссылочном экстраполированном кадре центрального потока, затем для каждого фрагмента с признаком поисковой аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком индивидуальной аппроксимации при проведении индивидуальной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении аппроксимаций движения исключают возникновение ошибок деления на ноль, при поиске макроблочных прогнозов используют исходные значения сигналов неподвижных пикселов ссылочных экстраполированных кадров, при организации алгоритма поиска целочисленных векторов смещений к лучшим прогнозам обрабатывают только внутренние и граничные макроблоки с признаками отсутствия аппроксимации движения, за исключением внутренних и граничных макроблоков левого кадра, для которых признаки аппроксимации движения соответствующих им по индексам фрагментам не находятся в состоянии отсутствия аппроксимации движения, причем значения последовательных векторов смещений таких макроблоков загружают соответствующими значениями из векторов данных фрагментов, а значения параллельных векторов смещения находят через организацию поиска прогноза в ссылочном кадре, размеры и расположение областей поисков параллельных макроблочных прогнозов задают таким образом, чтобы ординаты прогнозов были равны ординатам самих соответствующих макроблоков, а значения прогнозовых смещений по абсциссам могли бы принимать только отрицательные значения для макроблоков левого кадра и только положительные значения для макроблоков правого кадра, сразу после вычисления макроблочного остатка граничного макроблока значения сигналов пикселов макроблочного остатка его неподвижных пикселов заполняют нулевыми значениями, после проведения поиска целочисленных векторов смещений формируют дробные последовательные векторы смещений для всех фрагментов центрального кадра и дробные параллельные векторы смещений для всех макроблоков левого и правого кадров, при этом значения дробных векторов смещений внешних фрагментов и макроблоков принудительно заполняют нулевыми значениями, а способ расчета значений дробных векторов смещений для внутренних и граничных фрагментов и макроблоков выбирают предварительно с наложением условия отрицательности значений смещений по абсциссам для макроблоков левого кадра и условия положительности значений смещений по абсциссам для макроблоков правого кадра, после формирования дробных векторов смещений всех фрагментов и макроблоков для каждого фрагмента перерассчитывают текущие значения скоростей движения фрагмента по координатным осям центральной плоскостной системы координат, а по найденным параллельным дробным векторам смещений макроблоков корректируют текущую восстановленную поверхность посредством пересчета значений пространственных координат и скоростей копий фрагментов, при этом пространственные координаты копий внешних фрагментов перезагружают предыдущими значениями, пространственные скорости копий внешних фрагментов загружают нулевыми значениями, а для рассчета координат копии какого-либо из внутренних или граничных фрагментов используют направляющие векторы двух пересекающихся прямых, проходящих через начала соответствующих боковых пространственных системы координат, причем координаты направляющих векторов задают предварительно через связь боковых плоскостных и соответствующих боковых пространственных систем координат, характер которой задают предварительно, далее с применением значений перерассчитанных пространственных координат копий внутренних и граничных фрагментов перерассчитывают пространственные скорости их движения, после этого в памяти кодера дополнительно сохраняют временные отметки текущей и предыдущей стереопар, а также значения пространственных скоростей движения и координат положения всех копий фрагментов и значения плоскостных скоростей движения всех фрагментов для текущей и предыдущей стереопар, декодером при восстановлении исходных матриц изображения макроблоков текущей стереопары используют исходные значения сигналов неподвижных пикселов ссылочных кадров.

Объяснение необходимости введения совокупности отличительных признаков заявленного способа от прототипного способа, рассматриваемых в контексте способов компенсации движения в цифровых динамических стереовидеоизображениях и предназначенных для построения телесистем на базах стереовидеокодеков, одни из возможных вариантов исполнения которых со структурными схемами телесистем, архитектурами стереовидеокодеков и принципами организации компенсации движения в изображениях представлены на фигурах (ФИГ.1.), (ФИГ.2.), (ФИГ.3.) для прототипного способа, а также на фигурах (ФИГА), (ФИГ.5.), (ФИГ.6.) для заявляемого способа, заключается в следующем. В основе достижения требуемого технического результата, в частности для существенного увеличения среднего значения пропускной кадровой способности при незначительном снижении средних значений объема кода и качества декодируемого изображения стереовидеокодеков, использующих компенсацию движения в цифровых динамических видеоизображениях при обработке кадрового видеопотока в режиме реального времени, лежит фундаментальная идея сочетания поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям. Приближенная геометрическая реконструкция реальной запечатленной пространственной поверхности позволяет с довольно высокой степенью точности получать проекции пространственных копий фрагментов на кадры стереопар, и, как следствие получать приближенные значения параллельных векторов прогнозовых смещений минуя полный алгоритм перебора возможных макроблочных прогнозов. Фрагментальная аппроксимация движения в плоскости изображения позволяет приближенно определять положения последовательных предыдущих прогнозов части подвижных фрагментов кадров, и также получать аппроксимационные значения векторов последовательных прогнозовых смещений части подвижных макроблоков минуя алгоритм полного перебора. Для уточнения положений найденных предварительных аппроксимационных макроблочных прогнозов, можно использовать поисковый алгоритм компенсации движения, но уже с уменьшенными размерами областей поиска прогнозов и смещением центров этих областей на найденные векторы аппроксимационных смещений. Вследствие этого, с одной стороны сокращается среднее время обработки стереопары за счет аппроксимации движения части макроблоков, а с другой стороны остаются приблизительно на том же уровне объем кода и качество декодируемого изображения, так как положение аппроксимационных прогнозов дополнительно уточняется поисковым алгоритмом. Особенно данный подход эффективен при съемке и обработке видеосцен с реальными объектами, обладающими существенными линейными скоростями и движущимися параллельно плоскости датчиков изображений. Для удобства обработки стереовидеопотока, дополнительно вводится искуственный центральный кадровый поток, а также три плоскостные и три пространственные системы координат. Геометрическое восстановление запечатленной пространственной поверхности ведется для всех стереопар на уровне движения пространственных копий фрагментов в центральной пространственной системе координат с применением пространственной системной и пространственной индивидуальной аппроксимаций движения копий фрагментов. Фрагментальная аппроксимация движения ведется для всех стереопар, начиная с третьей, на уровне движения фрагментов центрального кадрового потока в плоскости центральной плоскостной системе координат с применением плоскостной системной, плоскостной индивидуальной и плоскостной поисковой аппроксимаций движения. Аппроксимации движения характеризуются дискретным представлением формул. Данные о характере движения фрагметальных копий в пространстве, а также самих фрагментов в плоскости кадрового изображения позволяют в том числе посредством проекций переходить к прогнозовым векторам смещений макроблоков кадров стереопары. Переход от векторов смещений к скоростям движения макроблоков и обратно осуществляется при использовании временных отметок стереопар, получаемых от таймерного устройства в режиме реального времени. Для повышения достоверности результатов аппроксимации движения используются дробные значения параметров фрагментов и макроблоков. Принципы геометрической реконструкции пространственной поверхности и принципы компенсации движения в плоскостных цифровых динамических видеоизображениях, используемые в заявляемом способе, представлены на фигурах (ФИГ.7.), (ФИГ.8.), (ФИГ.9.), (ФИГ.10.). Таким образом, обработка каждой стереопары проводится на уровне копий фрагментов и самих фрагментов центрального кадра с последующим переходом к параметрам движения макроблоков левого и правого кадров. Основной задачей системных аппроксимации движения является выявление характера движения копий фрагментов и характера движения самих фрагментов в рамках, так называемых системных блоков, на которые дополнительно изначально логически разбивается каждый искуственный центральный кадр, и которые содержат внутри себя достаточное количество подвижных фрагментов, координаты каждого из которых, в свою очередь, задаются координатами одной из точек фрагментов, а внутри каждого системного блока выбирается тройка расчетных фрагментов с условием наличия их ближайших соседей по координатным осям. При этом системные аппроксимация движения оперируют пространственно-временными параметрами движения копий фрагментов и самих фрагментов и охватывают динамические данные множества вложенных фрагментов в рамках системных блоков, что существенно влияет на достоверность системного прогноза. Индивидуальные аппроксимации движения, в свою очередь, оперируют только временными параметрами движения копий фрагментов и самих фрагментов и подразумевают предсказание положений фрагментов в текущем кадре исключительно по их собственным предыдущим значениям динамических данных движения. Процесс проведения аппроксимаций движения регулируется признаками обработки системных блоков, а также признаками аппроксимации движения фрагментов центрального кадра и макроблоков левого и правого кадров стереопары. Восстановление геометрии текущей запечатленной пространственной поверхности ведется на уровне пространственных копий фрагментов, координаты каждой из которых рассчитываются на основе пересечения двух прямых, проходящих через начала боковых пространственных систем координат с привлечением направляющих векторов этих прямых, причем области поиска параллельных векторов смещений для левого и правого кадров задаются таким образом, чтобы указанные прямые обязательно имели одну точку пересечения в переднем полупространстве по отношению к объективам. Все представленные далее теоретические формулы подразумевают фиксацию одной из координатных осей, а также одного из системных блоков или одного из фрагментов, без указания в формулах индексов фиксированных объектов.

Пространственные системная и индивидуальная аппроксимации движения способствуют быстрому нахождению значений векторов параллельных прогнозовых смещений для макроблоков левого и правого кадров текущей стереопары, посредством проекций частей текущей запечатленной пространственной поверхности на кадры данной стереопары, динамическая реконструкция и получение текущего вида которой проводится на уровне анализа движения копий фрагментов изображения в пространстве. Теоретическое уравнение пространственной системной аппроксимации движения выглядит следующим образом:

u_s - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;

t - время;

x - абсцисса фрагментов в заданной плоскостной центральной системе координат;

y - ордината фрагментов в заданной плоскостной центральной системе координат;

a_s,1, a_s,2, a_s,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;

его можно получить из уравнения математической физики, известного под названием уравнения колебания мембраны, если предварительно условиться, что входное воздействие постоянно на протяжении определенного короткого отрезка времени и на всей рабочей поверхности, далее обе части этого уравнения разделить на постоянное входное воздействие, и, затем, ввести новые обозначения, обозначив дроби перед производными в качестве новых коэффициентов, а сами производные второго порядка заменить производными первого порядка, используя вместо положений скорости. Предполагается, что при проведении системной аппроксимации движения в текущей стереопаре для копий фрагментов каждого системного блока по текущей пространственной координатной оси входные воздействия на копии фрагментов текущего системного блока считаются постоянными для всех копий вложенных фрагментов и на протяжении временного отрезка, охватывающего три последовательных стереопары, включая текущую и две предыдущих. При проведении пространственной системной аппроксимации движения в стереопаре для копий фрагментов каждого обрабатываемого системного блока по каждой из координатных осей сначала по данным двух предыдущих кадров центрального потока и по данным двух предыдущих стереопар рассчитываются коэффициенты аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар рассчитываются текущие положения и скорости движения копий фрагментов обрабатываемых системных блоков. Расчет ведется с привлечением статических и динамических параметров копий трех рассчетных фрагментов, с привлечением статических и динамических параметров самих трех рассчетных фрагментов текущего системного блока а также с учетом статических и динамических параметров их соседей по координатным осям плоскостной центральной системы координат. При этом значения порядков производных системы можно регулировать выбором единицы измерения времени. Единицы измерения времени можно подобрать опытным путем и выбрать таким образом, чтобы все производные конечных теоретических уравнений имели бы приблизительно одинаковый порядок. Алгоритм решения систем уравнений, можно выбрать таким, чтобы обеспечить скорейшее решение систем в совокупности с высокой точностью решений. Теоретическое уравнение пространственной индивидуальной аппроксимации движения выглядит следующим образом:

u_s - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;

t - время;

k_s - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;

его можно получить из уравнения второго закона Ньютона, если предварительно условиться, что входное воздействие постоянно на протяжении определенного короткого отрезка времени, далее обе части этого уравнения разделить на постоянное входное воздействие, и, затем, ввести новые обозначения, обозначив дробь перед производной в качестве нового коэффициента, а саму производную второго порядка заменить производной первого порядка, используя вместо положения скорость. При этом предполагается, что при проведении пространственной индивидуальной аппроксимации движения входные воздействия для копии каждого фрагмента по текущей координатной оси считаются постоянными на протяжении временного отрезка, охватывающего три последовательных стереопары, включая текущую и две предыдущих. Далее рассчитываются сначала коэффициенты аппроксимации движения, а затем текущие координаты и скорости движения копий фрагментов, аналогично фрагментам системной аппроксимации.

Плоскостные системная, индивидуальная и поисковая аппроксимации движения способствуют быстрому нахождению значений векторов последовательных прогнозовых смещений для макроблоков левого кадра текущей стереопары, посредством аппроксимации движения фрагментов в плоскости кадрового изображения центрального кадра с последующим нахождением значений последовательных векторов смещений части подвижных фрагментов для кадра искуственного центрального потока и заодно для макроблоков левого кадра текущей стереопары. Теоретическое уравнение плоскостной системной аппроксимации движения выглядит следующим образом:

u_p - скорость фрагментов текущего системного блока по текущей координатной оси;

t - время;

x - абсцисса фрагментов в заданной плоскостной центральной системе координат;

y - ордината фрагментов в заданной плоскостной центральной системе координат;

a_p,1, a_p,2, a_p,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;

механизм его получения и теоретические рассчетные допущения аналогичны механизму получения и допущениям уравнения пространственной системной аппроксимации движения. Условно назовем a_p,1 корпускулярным коэффициентом, а a_p,2 и a_p,3 волновыми коэффициентами теоретического уравнения плоскостной системной аппроксимации движения. Тогда задача плоскостной системной аппроксимации движения состоит в том, чтобы выявить те фрагменты проекций запечатленных объектов или их частей, которые в гораздо большей степени обладают корпускулярными свойствами, нежели чем волновыми, то есть при движении ведут себя как монолитные объекты, не меняющие свою геометрическую форму. При проведении плоскостной системной аппроксимации движения для каждого обрабатываемого системного блока по каждой из координатных осей сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитываются коэффициенты аппроксимации движения, далее проверяются условия для значений найденных коэффициентов, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар рассчитываются текущие скорости движения фрагментов обрабатываемых системных блоков. Для расчета коэффициентов плоскостной системной аппроксимации движения изначально составляется и решается в дискретной форме система из трех уравнений указанного вида, механизм решения систем аналогичен механизму решения систем пространственной системной аппроксимации движения. С математической точки зрения предпочтение в пользу корпускулярных коэффициентов означает преобладание их абсолютных значений над абсолютными значениями волновых коэффициентов, поэтому на практике удобно использовать конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задавать предварительно. Единицы измерения времени можно подобрать опытным путем и выбрать таким образом, чтобы все производные конечных теоретических уравнений имели бы приблизительно одинаковый порядок. Алгоритм решения систем уравнений, можно выбрать таким, чтобы обеспечить скорейшее решение систем в совокупности с высокой точностью решений. Малость абсолютных значений волновых коэффициентов по сравнению со значением корпускулярного коэффициента конечного теоретического уравнения системной плоскостной аппроксимации движения, при приблизительно одинаковом порядке всех производных, означает, что двумя слагаемыми, в указанном уравнении при этих коэффициентах, можно пренебречь. По этой причине текущие скорости движения фрагментов по координатным осям рассчитываются с помощью представленной формулы системной плоскостной аппроксимации движения в дискретном виде, в которой текущая скорость движения макроблока принимается в качестве неизвестной величины, при этом из указанного уравнения предварительно исключаются слагаемые с пространственными производными при втором и третьем коэффициентах. Теоретическое уравнение индивидуальной аппроксимации движения выглядит следующим образом:

u_p - скорость движения текущего фрагмента по текущей координатной оси;

t - время;

k_p - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси; механизм его получения и теоретические рассчетные допущения аналогичны механизму получения и допущениям уравнения пространственной индивидуальной аппроксимации движения. При проведении плоскостной индивидуальной аппроксимации движения для каждого подвижного фрагмента по каждой из координатных осей плоскостной центральной системы координат сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывается коэффициент индивидуальной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар рассчитывается текущая скорость движения фрагмента. При этом для расчета коэффициента плоскостной индивидуальной аппроксимации движения по какой либо из координатных осей изначально составляется и решается в дискретной форме одно указанное уравнение, в котором коэффициент индивидуальной аппроксимации движения принимается в качестве неизвестной величины. Текущие скорости движения фрагмента по координатным осям рассчитываются с помощью формулы плоскостной индивидуальной аппроксимации движения в дискретном виде, в которой текущая скорость движения макроблока принимается в качестве неизвестной. Плоскостная поисковая аппроксимация движения способствует получению как последовательных прогнозовых векторов смещений, так и параллельных векторов смещений макроблоков левого и правого кадров, но она обладает наименьшей эффективностью, поскольку получение данных проводится посредством применения стандартного поискового алгоритма к подвижным фрагментам центрального кадра, с последующим переходом к расчету параметров макроблоков текущей стереопары. Подытоживая все вышесказанное можно вкратце выделить следующие основные положения для заявляемого способа: восстановление геометрии текущей запечатленной пространственной поверхности способствует быстрому косвенному получению значений параллельных векторов смещений для макроблоков левого и правого кадров стереопары через анализ движения копий фрагментов искуственного центрального кадра в пространстве, а аппроксимация движения частей изображения законами, подобными реальным физическим законам природы, способствует быстрому косвенному получению значений последовательных векторов смещений через анализ движения фрагментов искуственного центрального кадра в плоскости кадрового изображения. Таким образом, в заявляемом способе компенсации движения фигурирует тот же набор входных и выходных параметров кодирования-декодирования, что и в прототипном способе, но с другим механизмом их получения, а указанный технический результат достигается главным образом за счет смещения и уменьшения областей поиска прогнозов для макроблоков с признаками наличия аппроксимации движения.

Устройство для реализации предложенного способа компенсации движения в цифровых динамических стереовидеоизображениях состоит из ноутбука «SAMSUNG R530», пары цифровых web-камер «hama АС-150», подставки для web-камер, маятника, соединительной нити, штатива, источника освещения, разветвителя, источника электричества, съемочной площадки. К ноутбуку 1 подключена пара цифровых web-камер 2, находящаяся на подставке 3, предназначенная для съемки маятника 4, прикрепленного соединительной нитью 5 к штативу 6. Маятник освещается источником освещения 7. К разветвителю 8 подключены ноутбук и источник освещения, а сам он подключен к источнику электричества 9. Все перечисленные выше элементы расположены на съемочной площадке 10. Ноутбук и источник освещения находятся во включенном состоянии, причем на ноутбуке загружено программное обеспечение для проведения сравнительного анализа прототипного и заявляемого способов компенсации движения в цифровых динамических стереовидеоизображениях. Все параметры и технические характеристики перечисленных выше конструктивных элементов, параметры модели стереовидеокодека на базе заявляемого способа, а также параметры сравниваемых моделей стереовидеокодеков, реализующих прототипный и заявляемый способы компенсации движения в цифровых динамических стереовидеоизображениях, при прочих равных условиях и параметрах, представлены на (ФИГ.11.) и (ФИГ.12.), а также в таблицах (Таблица 1) и (Таблица 2). Разрешение экрана ноутбука позволяет выводить на экран графические результаты экспериментов, а его тактовая частота позволяет сравнивать модели стереовидеокодеков с учетом работы в режиме реального времени, а также в процессе обработки кадрового стереовидеопотока сохранять и впоследствии выводить на экран результаты сравнительного анализа моделей видеокодеков. Ноутбук снабжен программным обеспечением, позволяющим осуществлять заявляемый способ в отдельности, а также осуществлять эксперимент по проведению сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов. В эксперименте по сравнению моделей видеокодеков обрабатывается видеопоследовательность из ста стереопар. При этом модель видеокодека на базе прототипного способа обрабатывает экспериментальную видеопоследовательность без привлечения временных отметок стереопар, а модель видеокодека на базе заявляемого способа обрабатывает экспериментальную видеопоследовательность с привлечением временных отметок стереопар. Эксперимент устроен следующим образом: сначала записывается и обрабатывается стереовидеопоследовательность в режиме on-line моделью стереовидеокодека на базе прототипного способа, при этом в памяти ноутбука

Таблица 1 Параметры оборудования экспериментальной установки. № поз. Наименование Основные характеристики 1 Ноутбук «SAMSUNG R530» Разрешение 1024×768 пикселов, тактовая частота 2,0 ГГц, наличие программного обеспечения для проведения сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов 2 Пара цифровых web-камер «hama АС-150» Разрешение 640×480 пикселов, расстояние между центрами прямоугольников датчиков изображений 0,06 м, объективы расположен параллельно плоскости O₂, O₃ на расстоянии примерно b=0,6 м до центра тяжести маятника при нахождении маятника в свободном положении и на высоте от верхней поверхности подставки d=0,05 м. 3 Подставка для пары web-камер Высота e=0,1 м 4 Маятник Масса 0,350 кг, диаметр 0,2 м 5 Соединительная нить Длина 1,5 м, диаметр 0,001 м, начальный угол отклонения от оси O₂ a=15° 6 Штатив Ограничивает все линейные перемещения и угловые вращения маятника, кроме вращения вокруг оси O₁ 7 Источник освещения Мощность 100 Вт, стабильное освещение, расположен на съемочной площадке таким образом, чтобы поток освещения был направлен на маятник 8 Разветвитель 3 разъема 9 Источник электричества Напряжение 220 В, частота 50 Гц 10 Съемочная площадка Размер и форма достаточны для установки оборудования, цветовые свойства фона отличаются от цветовых свойств маятника

Таблица 2 параметры сравниваемых моделей стереовидеокодеков. Структурная схема цифровой телевизионной системы на базе видеокодека с использованием прототипного способа (см. ФИГ.1) Архитектура видеокодека с использованием прототипного способа (см. ФИГ.2) Принцип компенсации движения в кадрах стереопар на основе прототипного способа (см. ФИГ.3) Структурная схема цифровой телевизионной системы на базе видеокодека с использованием заявляемого способа (см. ФИГ.4) Архитектура видеокодека с использованием заявляемого способа (см. ФИГ.5) Принцип компенсации движения в кадрах стереопар на основе заявляемого способа (см. ФИГ.6) Количество сравниваемых моделей видеокодеков 2 модели Количество экспериментов 1 эксперимент Количество экспериментальных стереопар 100 стереопар Период следования опорных стереопар 10 стереопар Расстояние между центрами датчиков изображений 0,06 м Входной формат кадров 640×480 пикселов Цветовая система входных кадров R, G, B Рабочий формат кадров 80×64 пикселов Формат экстраполированного кадра 88×72 пикселов Цветовая система рабочих кадров Y, Cr, Cb Формат сэмплирования 4:4:4 Выходной формат кадров 400×300 пикселов Цветовая система входных кадров R, G, B Время обработки любой из стереопар 0,3 с (не более) Временное рассогласование между получением кадров стереопары 0,03 с (не более) Единица измерения времени 0,1 с Коррекционное значение временных меток 0,01 с Размерность системных блоков 4×4 фрагмента Размерность фрагментов и макроблоков 4×4 пикселов Алгоритм поиска целочисленных макроблочных прогнозов Полный перебор Алгоритм рассчета дробных фрагментальных и макроблочных прогнозов По соседним положениям относительно лучшего прогноза Размер стандартной области поиска последовательного макроблочного прогноза 16×16 пикселов Размер стандартной области поиска параллельного макроблочного прогноза 16×4 пикселов Размер аппроксимационной области поиска последовательного макроблочного прогноза 6×6 пикселов Размер аппроксимационной области поиска параллельного макроблочного прогноза 8×4 пикселов Критерий поиска лучших блочных прогнозов Минимум МАЕ (ср-е абс-е откл-е) (отн. ед. яркости) ([0..255]) Инструмент измерения времени Счетчик монитора (временная разрешающая способность << 1 мс) Способ геометрической реконструкции запечатленной пространственной поверхности (см. ФИГ.7) Системы координат (см. ФИГ.8) Координатные точки фрагментов (см. ФИГ.9) Положение расчетных фрагментов в системных блоках (см. ФИГ.10) Условие отношений абсолютных значений коэффициентов плоскострной системной аппроксимации движения (|a_p,2|/|a_p,1|<arg) &(|a_p,3|/|a_p,1|<arg) a_p,1, a_p,2, a_p,3 - коэффициенты, arg - регулятор отношений коэффициентов Порог изменения пространственной координаты копии фрагмента при рекотструкции текущей пространственной поверхности 10% от исходного значения Пороговый уровень отношения коэффициентов аппроксимации движения 0,1 (не более) Пороговый уровень критерия качества плоскостного апроксимационного прогноза 4 ед. МАЕ, (не более) Шаг квантования-деквантования коэффициентов 4 Принцип выделения числовых серий переменной длины «Серия, значение, конец» Принцип энтропийного кодирования - декодирования числовых серий и векторов смещений Табличный Принцип арифметического кодирования маски движения Контекстно-зависимое

сохраняются обрабатываемая видеопоследовательность и временные отметки стереопар, после чего сохраненная видеопоследовательность обрабатывается в режиме off-line моделью стереовидеокодека на базе заявляемого способа. Алгоритм решения системы линейных алгебраических уравнений основан на поиске базисного минора, составлении, при необходимости, новой системы уравнений меньшего порядка на основе найденного базисного минора, и решении конечной системы по формулам Крамера. Коэффициентам, множители при которых не участвуют в формировании базисного минора, присваиваются нулевые значения. Формирование дробных составляющих векторов смещений фрагментов и макроблоков проводится для каждой координатной оси по существующим в рамках предыдущего экстраполированного кадра и соседним, относительно найденного наилучшего целочисленного прогноза, положениям с различными значениями критерия качества прогноза, при этом знак дробной части определяется необходимостью смещения в сторону соседнего положения с меньшим значением качества прогноза, а абсолютное значение дробной части определяется как разность единицы и отношения меньшего значения критерия качества одного их соседних прогнозов к большему значению критерия качества другого соседнего прогноза. Для входного стереовидеопотока используется одно из стандартных разрешений web-камер. Взаимное расположение web-камер, web-камер и маятника, с учетом высоты подставки для web-камер и расстояния от них до маятника, выбраны таким образом, чтобы в процессе проведения экспериментов изображение маятника занимало значительные части кадров стереопар. Длина соединительной нити выбрана так, чтобы обеспечить период колебания маятника, при котором положения изображений маятника на двух соседних по времени кадрах различаются слабо, то есть на несколько пикселов, а движение маятника на коротких участках траектории можно рассматривать как прямолинейное движение с ускорениями, что в свою очередь позволяет проводить аппроксимацию движения фрагментов изображения маятника с применением математической модели заявляемого способа. Мощность источника освещения достаточна для обнаружения различий цветовых свойств маятника и фона видеосцены. Описанный выше способ компенсации движения в цифровых динамических стереовидеоизображениях осуществляется следующим образом: маятник отклоняют на угол a=15° от свободной оси вращения, после чего его отпускают. Через 5-10 секунд на ноутбуке запускают программный вариант по осуществлению заявляемого способа в отдельности или эксперимент по проведению сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов нажатием соответствующей кнопки. После этого ожидают окончания обработки стереовидеопотока и вывода на экран результатов осуществления заявляемого способа в отдельности, либо результатов эксперимента по сравнению моделей стереовидеокодеков, использующих прототипный и заявляемый способы. После этого маятник останавливают, то есть приводят в начальное исходное свободное положение.

Наличие причинно-следственной связи между совокупностью существенных признаков заявляемого объекта и достигаемым техническим результатом показано в таблице 3. Табличные данные основаны на результатах экспериментов по сравнительному

Таблица 3 Причинно-следственная связь между совокупностью существенных признаков заявляемого объекта и достигаемым техническим результатом. Виды технического результата и их размерность Показатели способа, фактические или расчетные   прототипа заявляемого Пропускная кадровая способность модели стереовидеокодека на базе способа, Ф, стереопара/с 5,9 6,6 Общее время обработки видеопотока, затраченное моделью стереовидеокодека на базе способа, T, с 16,8 15,2 Общий объем кода видеопотока, полученный моделью стереовидеокодека на базе способа, V, бит 5105920 5182508 Ошибка качества изображения, определяемая как среднее абсолютное отклонение сигналов кодируемого и декодированного видеопотоков из числового диапазона [0..255], накопленная моделью стереовидеокодека на базе способа, Е, отн. ед. яркости 4,53 4,56 Качество аппроксимации движения, определяемое суммарным количеством подвижных макроблоков с признаками отсутствия аппроксимации движения при обработке видеопотока моделью стереовидеокодека на базе способа, А, шт. 32435 22654

анализу моделей стереовидеокодеков на базах прототипного и заявляемого способов. Более подробно результаты сравнительного анализа двух моделей стереовидеокодеков на базах прототипного и заявляемого способов представлены на фигурах (ФИГ.13.), (ФИГ.14.), (ФИГ.15.), (ФИГ.16.), а также на фигурах (ФИГ.17.), (ФИГ.18.), (ФИГ.19.), (ФИГ.20.). Проводились также эксперименты с работой обеих моделей видеокодеков в режиме off-line, стереовидеопоследовательность для которых формировалась с помощью цифрового стереофотоаппарата FUJIFILM finepix REAL 3D W3, представленного на фигуре (ФИГ.21.) и использовавшегося в режиме видеосъемки с постоянным известным временным шагом между стереопарами с обеспечением минимизации временного рассогласования получения кадров стереопары по сравнению с использованием отдельных web-камер, при этом получаемые им стереовидеоизображения сохранялись в памяти устройства в исходном виде, то есть без применения каких-либо механизмов предварительного кодирования стереовидеоизображений. Далее, полученные стереовидеоизоборажения копировались в память ноутбука и обрабатывались в режиме off-line моделями сравниваемых стереовидеокодеков при обработке файловых данных и с использованием известных значений временных интервалов между стереопарами. В этом случае наблюдалось небольшое улучшение качества аппроксимации движения в изображениях и пропускной способности стереовидеокодека. Кроме того, проводились эксперименты со сменой режимов off-line и on-line для моделей видеокодеков, а также эксперименты с применением в моделях видеокодеков алгоритмов укороченного поиска макроблочных прогнозов, таких как «алгоритм поиска в три шага» и «алгоритм поиска по ближайшим соседям». Результаты этих экспериментов в целом идентичны результатам экспериментов с использованием алгоритма полного перебора, но с менее выраженным эффектом улучшения пропускной кадровой способности. Согласно экспериментальным данным, использование алгоритма полного перебора дает улучшение пропускной кадровой способности стереовидеокодека на 5-10%, а использование укороченных алгоритмов поиска дает улучшение пропускной кадровой способности стереовидеокодека на 4-8%. Учитывая результаты экспериментальных данных по сравнению моделей стереовидеокодеков на базах прототипного и заявляемого способов компенсации движения в цифровых динамических стереовидеоизображениях, можно сделать относительно заявляемого способа следующий вывод: предложенное техническое решение обеспечивает существенное увеличение среднего значения пропускной кадровой способности стереовидеокодека при обработке стереовидеопотока в режиме реального времени при незначительном снижении значений среднего объема кода и качества декодируемого изображения.

Техническая сущность заявляемого технического решения поясняется следующими дополнительными материалами.

ФИГ.1. Структурная схема цифровой телевизионной системы на базе стереовидеокодека, реализующего прототипный способ.

ФИГ.2. Принципы организации структуры стереовидеокодека и процесса обработки стереопотока с применением прототипного способа.

ФИГ.3. Принцип компенсации движения в кадрах стереопар на основе прототипного способа.

ФИГ.4. Структурная схема цифровой телевизионной системы на базе стереовидеокодека, реализующего заявляемый способ.

ФИГ.5. Принципы организации структуры стереовидеокодека и процесса обработки стереопотока с применением заявляемого способа.

ФИГ.6. Принцип компенсации движения в кадрах стереопар на основе заявляемого способа.

ФИГ.7. Общие принципы геометрической реконструкции запечатленной пространственной поверхности и получения ее проекций на кадры стереопары.

ФИГ.8. Логическое разбиение искусственного центрального кадра на системные блоки и фрагменты в заявляемом способе.

ФИГ.9. Принцип задания координат фрагментов и макроблоков в заявляемом способе.

ФИГ.10. Один из вариантов выбора расчетных фрагментов в рамках системного блока в заявляемом способе.

ФИГ.11. Снимок экспериментальной установки для сравнения эффективностей работы стереовидеоеодеков на базах прототипного и заявляемого способов.

ФИГ.12. Схема экспериментальной установки для сравнения эффективностей работы стереовидеоеодеков на базах прототипного и заявляемого способов.

ФИГ.13. Снимок кодируемой стереопары с применением заявляемого способа.

ФИГ.14. Снимок декодированной стереопары с применением заявляемого способа.

ФИГ.15. Снимок бинарной маски стереопары с применением заявляемого способа.

ФИГ.16 Снимок цветовой градации макроблоков стереопары с применением заявляемого способа по признакам аппроксимации движения с обозначениями: серый - отсутствие аппроксимации движения, зеленый - наличие системной аппроксимации движения, красный - наличие индивидуальной аппроксимации движения, синий - наличие поисковой аппроксимации движения.

ФИГ.17. График зависимости отношения времени обработки стереопары с применением заявляемого способа ко времени обработки стереопары с применением прототипного способа от номера стереопары.

ФИГ.18. График зависимости отношения объема кода стереопары с применением заявляемого способа к объему кода стереопары с применением прототипного способа от номера стереопары.

ФИГ.19. График зависимости ошибки качества изображения, вычисляемого как отношение среднего абсолютного отклонения сигналов кодируемой и декодируемой стереопар при обработке экспериментальной видеопоследовательности с применением заявляемого способа к среднему абсолютному отклонению сигналов кодируемой и декодируемой стереопар при обработке экспериментальной видеопоследовательности с применением прототипного способа, от номера стереопары.

ФИГ.20. График зависимости качества аппроксимации движения, вычисляемого как отношение количества подвижных макроблоков с признаками отсутствия аппроксимации движения при обработке экспериментальной видеопоследовательности с применением заявляемого способа к количеству подвижных макроблоков с признаками отсутствия аппроксимации движения при обработке экспериментальной видеопоследовательности с применением прототипного способа, от номера стереопары.

ФИГ.21. Снимок стереофотоаппарата FUJIFILM finepix REAL 3D W3, использовавшегося в режиме видеосъемки для проведения сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов в режиме off-line с обеспечением высокой степени синхронизации во времени получений кадров стереопар, а также выдерживающего наперед заданные временные интервалы между получениями стереопар и сохраняющего стереовидеоизображения в исходном виде, то есть без применения каких либо механизмов предварительного кодирования получаемой видеоинформации.

Технико-экономическое обоснование заявляемого способа компенсации движения в цифровых динамических стереовидеоизображениях, предназначенного для использования в стереовидеокодеках цифровых телевизионных систем, работающих в режиме реального времени, состоит в следующем. Во-первых, для получения экономической выгоды можно использовать исходные параметры достигнутого технического результата в их чистом виде. Иными словами, повышенная пропускная способность системы при сохранении на том же уровне объема передаваемого кода и качества декодируемого изображения сглаживает дискретизацию стереопотока и, вследствие этого, улучшает визуальный эффект просмотра видеоизображений, что в свою очередь делает подобную телевизионную систему предпочтительней с точки зрения потребителя. Во-вторых, для получения экономической выгоды можно использовать конвертацию параметров достигнутого технического результата. Так, например, выигрыш в пропускной кадровой способности можно конвертировать в снижение стоимости цифровых вычислительных устройств, входящих в состав телевизионной системы. Подобная телевизионная система будет работать с той же пропускной кадровой способностью, что и ее существующие аналоги, но стоимость такой системы будет дешевле, что в свою очередь делает подобную телевизионную систему более предпочтительной с точки зрения производителя. Наконец, для получения экономической выгоды можно использовать заявляемый способ не только в области цифрового телевидения широкого вещания, но и в других технических областях, связанных с обработкой и передачей цифровых динамических стереовидеоизображений. Здесь примером является интернет-общение пользователей в режиме реального времени с использованием стерео web-камер. На сегодняшний день для получения более высокой пропускной кадровой способности таких систем используют стерео web-камеры со встроенными микропроцессорными устройствами, работающими параллельно и согласованно с центральными процессорными устройствами компьютеров. Стоимость подобных стерео web-камер в десятки раз превышает стоимость обычных стерео web-камер. С этой точки зрения использование обычной стерео web-камеры в комплекте с программным обеспечением для реализации заявляемого способа, выглядит более предпочтительно, чем использование стерео web-камеры со встроенным микропроцессорным устройством.

Изобретение относится к вычислительной технике. Технический результат заключается в увеличении средних значений пропускных кадровых способностей стереовидеокодеков, работающих в режиме реального времени. Способ компенсации движения в цифровых динамических стереовидеоизображениях, в котором в процессе проведения стереовидеокодеком компенсации движения в стереопарах видеопотока используется сочетание поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям. 1 з.п. ф-лы, 21 ил., 3 табл.

1. Способ компенсации движения в цифровых динамических стереовидеоизображениях, состоящий в следующем, перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индексы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам компенсацию движения в изображении применяют только для правого кадра стереопары и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра и в кодере, и в декодере выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра и в кодере, и в декодере выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, а перед проведением поиска макроблочных прогнозов осуществляют экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений, отличающийся тем, что в процессе проведения видеокодеком компенсации движения в стереопарах видеопотока используют сочетание поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям, для этого, перед эксплуатацией видеокодека, проверяют наличие таймера в составе кодера, причем, в случае его изначального отсутствия, в состав кодера дополнительно вводят таймер, в процессе обработки кадрового стереопотока, сразу после получения каждой очередной стереопары, кодером опрашивают таймер, после чего, по данным опроса таймера, за стереопарой закрепляют отметку реального времени, при этом единицы измерения времени задают предварительно, а после получения временной отметки текущей стереопары ее значение сравнивают со значением временной отметки предыдущей стереопары, причем в случае равенства, по результатам сравнения значений этих временных отметок к значению временной отметки текущей стереопары, добавляют коррекционное значение временных отметок стереопар, величину которого устанавливают предварительно положительным числом, меньшим или равным выбранной единице измерения времени, в процессе обработки стереопотока для каждой опорной стереопары кодером осуществляют прогноз компенсации движения по тем же правилам и с использованием тех же параметров, что и при обработке прогнозируемой стереопары, но данные результата этого прогноза не используют для кодирования и передачи декодеру, кроме данных результата прогноза правого кадра для внутренних и граничных макроблоков левого кадра каждой стереопары в процессе компенсации движения кодером дополнительно ищут параллельные векторы смещения, при этом в качестве параллельного ссылочного кадра выбирают параллельный правый кадр видеопоследовательности, а алгоритм поиска лучших смещений задают аналогичным алгоритму поиска векторов параллельных макроблочных прогнозов правого кадр, в добавок к левому и правому кадровым потокам стереопары дополнительно вводят искусственный центральный кадровый поток, каждый кадр искусственного центрального потока логически разбивают на фрагменты, количество и взаимное расположение которых соответствует количеству и взаимному расположению макроблоков соответствующего левого кадра, за фрагментами центрального кадра закрепляют те же характеристики, что и за макроблоками левого кадра, далее в плоскостях кадровых изображений для всех кадровых потоков, включая искусственный центральный, перезадают три плоскостные прямоугольные декартовы системы координат, начала которых для всех потоков, включая центральный, задают центрами соответствующих им кадровых прямоугольников, оси абсцисс направляют вправо, оси ординат вверх, а в качестве единиц измерения по осям принимают пикселы, далее в дополнение к плоскостным системам координат вводят три пространственные прямоугольные декартовы системы координат, начала которых для левого и правого потоков совмещают с центральными точками прямоугольников рабочих поверхностей соответствующих датчиков стереопары, а начало координат искусственного центрального кадрового потока задают серединой отрезка, соединяющего начала левой и правой пространственной систем координат, оси абсцисс направляют вправо, оси ординат вверх, оси аппликат направляют в сторону съемочной сцены, а в качестве единиц измерения по осям принимают метры, сразу после введения пространственных систем координат для всех фрагментов произвольно задают координаты положения их пространственных копий в центральной пространственной системе координат, затем для всех фрагментов и макроблоков перезадают координаты их положения в соответствующих плоскостных системах координат, причем плоскостные координаты каждого фрагмента и каждого макроблока задают координатами одной из его точек, а координатные точки фрагментов и макроблоков назначают таким образом, чтобы при перемещении любых двух фрагментов или макроблоков до совмещения их координатных точек наблюдалось бы полное совпадение положений остальных соответствующих точек фрагментов или макроблоков, в процессе обработки стереопотока матрицы сигналов фрагментов центрального кадра, признаки движения фрагментов, а также маски движения граничных фрагментов перезагружают соответствующими данными левого кадра сразу после их получения, для каждого кадра центрального видеопотока проводят последовательную компенсацию движения, аналогичную последовательной компенсации движения прогнозируемых кадров левого потока, при этом в качестве последовательного ссылочного прогнозового кадра используют предыдущий кадр центрального потока, каждый текущий кадр искусственного центрального потока, сразу после его фрагментации, дополнительно логически разбивают на системные блоки, при этом за каждым системным блоком закрепляют признак обработки системного блока с двумя возможными состояниями, соответствующими отсутствию обработки и наличию обработки, а форму и размер системных блоков выбирают такими, чтобы внутри системного блока содержалось целое число фрагментов и чтобы внутри системного блока имелись, как минимум, три фрагмента вместе с их ближайшими предыдущими соседями по координатным осям, далее внутри каждого системного блока выбирают по три расчетных фрагмента с условием наличия в текущем системном блоке ближайших предыдущих соседей выбранных расчетных фрагментов по координатным осям, затем за каждым фрагментом центрального кадра, а также за каждым макроблоком каждого кадра стереопары закрепляют признак аппроксимации движения с четырьмя возможными состояниями, соответствующими отсутствию аппроксимации движения, наличию системной аппроксимации движения, наличию индивидуальной аппроксимации движения и наличию поисковой аппроксимации движения, для всех стереопар видеопотока перед применением в кодере алгоритма поиска целочисленных векторов смещений макроблоков к лучшим прогнозам, но после экстраполяции ссылочных кадров проводят реконструкцию текущей запечатленной пространственной поверхности на основе динамического перерасчета пространственных координат копий фрагментов изображения, а затем начиная с третьей и для всех последующих стереопар компенсацию движения в стереопарах с применением анализа движения фрагментов в плоскости кадрового изображения центрального потока с последующим проецированием изображений фрагментов на кадры стереопар посредством учета текущих рассчитанных пространственных координат копий фрагментов, при проведении приближенной геометрической реконструкции текущей запечатленной пространственной поверхности проводят сначала пространственную системную, а затем пространственную индивидуальную аппроксимацию движения копий фрагментов в центральной пространственной системе координат, причем непосредственно перед проведением пространственных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов сбрасывают в состояние отсутствия аппроксимации движения, текущим скоростям движения пространственных копий внешних фрагментов присваивают нулевые значения, а текущие координаты пространственных копий внешних фрагментов загружают предыдущими значениями, при проведении пространственной системной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для копий вложенных фрагментов каждого такого системного блока по каждой из трех пространственных координатных осей проводят аппроксимацию движения пространственных копий фрагментов, при этом для проведения пространственной системной аппроксимации движения используют уравнение пространственной системной аппроксимации движения вида

u_s - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;
t - время;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;
y - ордината фрагментов в заданной плоскостной центральной системе координат;
a_s,1, a_s,2, a_s,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты пространственной системной аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными расчетными фрагментами, далее признаки аппроксимации движения вложенных фрагментов обрабатываемых системных блоков переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар для копий фрагментов с признаками системной аппроксимации движения рассчитывают текущие пространственные скорости движения копий фрагментов с применением указанного уравнения пространственной системной аппроксимации движения, а потом аппроксимационные значения текущих пространственных координат положения копий фрагментов, после чего проверяют условие незначительного изменения текущих пространственных координат копии фрагментов по сравнению с предыдущими координатами, причем математическую модель этого условия задают предварительно, в случае невыполнения данного условия текущие пространственные координаты копии фрагмента перезагружают предыдущими значениями, а признак аппроксимации движения соответствующего фрагмента сбрасывают в состояние отсутствия аппроксимации движения, при проведении пространственной индивидуальной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждой копии фрагмента с признаком индивидуальной аппроксимации движения по каждой из трех пространственных координатных осей проводят пространственную аппроксимацию движения с использованием уравнения пространственной индивидуальной аппроксимации движения вида

u_s - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;
t - время;
k_s - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопары текущие пространственные скорости и координаты копий фрагментов, далее для пространственной копии каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке копии фрагмента с признаком системной аппроксимации при проведении пространственной системной аппроксимации движения, начиная с проверки на незначительность изменений текущих пространственных координат копий фрагментов, при проведении компенсации движения в стереопаре проводят сначала плоскостную системную, далее плоскостную индивидуальную, а затем плоскостную поисковую аппроксимацию движения фрагментов в центральной плоскостной системе координат с последующим проецированием изображений фрагментов на кадры стереопары посредством учета пространственных координат копий фрагментов, причем непосредственно перед проведением плоскостных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов и макроблоков сбрасывают в состояние отсутствия аппроксимации движения, а целочисленные последовательные и параллельные векторы смещений внешних фрагментов текущего центрального кадра и макроблоков текущей стереопары принудительно заполняют нулевыми значениями, при проведении плоскостной системной аппроксимации движения сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и далее для фрагментов каждого такого системного блока по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения, при этом для проведения плоскостной системной аппроксимации движения используют уравнение плоскостной системной аппроксимации движения вида

u_p - скорость фрагментов текущего системного блока по текущей координатной оси;
t - время;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;
y - ордината фрагментов в заданной плоскостной центральной системе координат;
a_p,1, a_p,2, a_p,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными расчетными фрагментами, далее по каждой координатной оси проверяют конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задают предварительно, далее признаки аппроксимации движения вложенных фрагментов системных блоков, прошедших указанную проверку положительно, переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар для фрагментов с признаками системной аппроксимации движения рассчитывают текущие скорости движения фрагментов с применением укороченного уравнения плоскостной системной аппроксимации движения без слагаемых с пространственными производными, а потом рассчитывают аппроксимационные значения целочисленных векторов смещений фрагментов к лучшим прогнозам в рамках ссылочного экстраполированного кадра, далее проверяют условие попадания найденных аппроксимационных прогнозов в формат ссылочного экстраполированного кадра, а также условие удовлетворения прогноза аппроксимационному значению критерия качества прогноза, значение которого устанавливают предварительно, при этом в случае выполнения данных условий организуют укороченный поиск фрагментальных прогнозов в рамках ссылочного экстраполированного кадра, при этом центры соответствующих фрагментам областей поиска смещают по координатным осям на значения соответствующих найденных аппроксимационых векторов смещений, а геометрические размеры областей поиска уменьшают до значений, которые задают предварительно, в противном случае признак аппроксимации движения фрагмента сбрасывают в состояние отсутствия аппроксимации, далее изображения фрагментов с признаком системной аппроксимации движения проецируют на кадровые плоскости, при этом значения целочисленных векторов последовательных смещений внутренних и граничных макроблоков левого кадра к лучшим прогнозам в предыдущем ссылочном кадре загружают соответствующими найденными значениями векторов смещений фрагментов, а для расчета значений векторов параллельных смещений для макроблоков левого и правого кадров определяют пары проекционных макроблоков в левом и правом экстраполированных кадрах, причем в алгоритм проецирования пространственных изображений на кадровые плоскости вводят использование направляющего вектора прямой, проходящей через начало соответствующей боковой пространственной системы координат и пространственную точку положения соответствующей копии фрагмента, а связь боковых плоскостных и соответствующих боковых пространственных систем координат задают с помощью координат направляющих векторов, далее проверяют условие совместного попадания проекционных макроблоков проекционных пар в форматы своих соответствующих экстраполированных кадров, в случае выполнения которого признаки аппроксимации движения соответствующих макроблоков проекционных пар устанавливают в состояние системной аппроксимации движения, далее при использовании координат проекционных пар определяют векторы параллельных смещений макроблоков с признаками системной аппроксимации движения для левого и правого кадров, после чего проверяют условия отрицательности прогнозовых смещений по абсциссе проекционных макроблоков левого кадра и условия положительности прогнозовых смещений по абсциссе проекционных макроблоков правого кадра, в случае невыполнения хотя бы одного из которых признак аппроксимации движения соответствующего макроблока сбрасывают в состояние отсутствия аппроксимации движения, при проведении плоскостной индивидуальной аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения с использованием уравнения плоскостной индивидуальной аппроксимации движения вида

u_p - скорость движения текущего фрагмента по текущей координатной оси;
t - время;
k_p - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопар текущие скорости и целочисленные векторы смещения фрагментов к аппрокисмационным прогнозам, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком системной аппроксимации при проведении системной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении плоскостной поисковой аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние поисковой аппроксимации движения, далее целочисленные векторы прогнозовых смещений фрагментов находят стандартным образом через организацию поиска прогнозов в предыдущем ссылочном экстраполированном кадре центрального потока, затем для каждого фрагмента с признаком поисковой аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком индивидуальной аппроксимации при проведении индивидуальной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении аппроксимаций движения исключают возникновение ошибок деления на ноль, при поиске макроблочных прогнозов используют исходные значения сигналов неподвижных пикселов ссылочных экстраполированных кадров, при организации алгоритма поиска целочисленных векторов смещений к лучшим прогнозам обрабатывают только внутренние и граничные макроблоки с признаками отсутствия аппроксимации движения, за исключением внутренних и граничных макроблоков левого кадра, для которых признаки аппроксимации движения соответствующих им по индексам фрагментам не находятся в состоянии отсутствия аппроксимации движения, причем значения последовательных векторов смещений таких макроблоков загружают соответствующими значениями из векторов данных фрагментов, а значения параллельных векторов смещения находят через организацию поиска прогноза в ссылочном кадре, размеры и расположение областей поисков параллельных макроблочных прогнозов задают таким образом, чтобы ординаты прогнозов были равны ординатам самих соответствующих макроблоков, а значения прогнозовых смещений по абсциссам могли бы принимать только отрицательные значения для макроблоков левого кадра и только положительные значения для макроблоков правого кадра, сразу после вычисления макроблочного остатка граничного макроблока значения сигналов пикселов макроблочного остатка его неподвижных пикселов заполняют нулевыми значениями, после проведения поиска целочисленных векторов смещений формируют дробные последовательные векторы смещений для всех фрагментов центрального кадра и дробные параллельные векторы смещений для всех макроблоков левого и правого кадров, при этом значения дробных векторов смещений внешних фрагментов и макроблоков принудительно заполняют нулевыми значениями, а способ расчета значений дробных векторов смещений для внутренних и граничных фрагментов и макроблоков выбирают предварительно с наложением условия отрицательности значений смещений по абсциссам для макроблоков левого кадра и условия положительности значений смещений по абсциссам для макроблоков правого кадра, после формирования дробных векторов смещений всех фрагментов и макроблоков для каждого фрагмента перерассчитывают текущие значения скоростей движения фрагмента по координатным осям центральной плоскостной системы координат, а по найденным параллельным дробным векторам смещений макроблоков корректируют текущую восстановленную поверхность посредством пересчета значений пространственных координат и скоростей копий фрагментов, при этом пространственные координаты копий внешних фрагментов перезагружают предыдущими значениями, пространственные скорости копий внешних фрагментов загружают нулевыми значениями, а для расчета координат копии какого-либо из внутренних или граничных фрагментов используют направляющие векторы двух пересекающихся прямых, проходящих через начала соответствующих боковых пространственных системы координат, причем координаты направляющих векторов задают предварительно через связь боковых плоскостных и соответствующих боковых пространственных систем координат, характер которой задают предварительно, далее с применением значений перерассчитанных пространственных координат копий внутренних и граничных фрагментов перерассчитывают пространственные скорости их движения, после этого в памяти кодера дополнительно сохраняют временные отметки текущей и предыдущей стереопар, а также значения пространственных скоростей движения и координат положения всех копий фрагментов и значения плоскостных скоростей движения всех фрагментов для текущей и предыдущей стереопар, декодером при восстановлении исходных матриц изображения макроблоков текущей стереопары используют исходные значения сигналов неподвижных пикселов ссылочных кадров.

2. Способ компенсации движения в цифровых динамических стереовидеоизображениях по п.1, отличающийся тем, что в кодере кадры каждой стереопары дополнительно масштабируют сразу после их получения, а после получения выходных данных применяют обратное масштабирование к кадрам стереопары, а также к макроблочным остаткам, прогнозовым векторам смещений и маскам движения макроблоков стереопары.