УСТРОЙСТВО И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, ПРОГРАММА ДЛЯ ЕГО РЕАЛИЗАЦИИ И НОСИТЕЛЬ ИНФОРМАЦИИ, КОТОРЫЙ ХРАНИТ ПРОГРАММУ Российский патент 2011 года по МПК G06T3/00 G06T5/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001]

Настоящее изобретение относится к технологии формирования изображения с высокой битовой глубиной, путем использования множества изображений.

Испрашивается приоритет по заявке на Патент Японии №2007-267613, которая была подана 15 октября 2007, содержание которой включено в настоящее описание посредством ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002]

Применительно к системам создания изображения в нескольких проекциях, Фиг.11 является схемой, отражающей пример расположения камер, имеющих расположение вдоль прямой линии; Фиг.12 является схемой, отражающей еще один пример расположения камер, имеющих расположение в плоскости; Фиг.13 является схемой, отражающей еще один пример расположения камер, имеющих расположение по дуге; и Фиг.14 является схемой, отражающей еще один пример расположения камер, имеющих расположение по сферической поверхности.

[0003]

Для создания изображения сцены с различных направлений были разработаны системы создания изображения в нескольких проекциях. В системах создания изображения в нескольких проекциях расположение камер имеет разнообразные формы, такие как: одномерное расположение вдоль прямой линии, как показано на Фиг.11; двумерное расположение в плоскости, как показано на Фиг.12; расположение по дуге, как показано на Фиг.13; или расположение по сферической поверхности, как показано на Фиг.14. Использование таких систем создания изображения в нескольких проекциях позволяет получить видеосцены c многих направлений.

[0004]

В добавление, существует технология, под названием «синтез изображения», для формирования данных изображения в местоположении воображаемой камеры (в котором не происходит создание изображения) путем использования изображений с камер, полученных созданием изображения в нескольких проекциях.

В синтезе изображения принято, что известен параметр камеры, отражающий пространственное положение, в котором было получено исходное видеоизображение. Синтез изображения может быть выполнен различными способами.

Например, существует способ выполнения синтеза путем оценки данных глубины. В начале получают данные несоответствия, путем поиска соответствующих точек между исходными видеоизображениями, а данные глубины релевантной сцены оценивают на основании данных несоответствия. Затем оцениваются данные глубины для местоположения воображаемой камеры и формируются соответствующие данные изображения, используя данные изображения исходных камер (см. Непатентный Документ 1).

[0005]

В другом примере способов не производится оценка данных глубины, а данные изображения в местоположении воображаемой камеры формируются, используя данные несоответствия исходных изображений (см. Непатентный Документ 2).

[0006]

В другом примере используется множество изображений с камеры для оценки данных трехмерной модели объекта, представленного в релевантной сцене, и формируется изображение модели, спроецированное с местоположения воображаемой камеры (см. Непатентный Документ 3).

[0007]

В вышеописанных системах создания изображения, как правило, используются камеры, имеющие одну и ту же битовую глубину (то есть ухудшение качества), тем не менее, могут быть использованы камеры с разной битовой глубиной. Путем использования сочетания камеры, имеющей высокую битовую глубину, и камеры, имеющей низкую битовую глубину, существует возможность уменьшить размер получаемых данных изображения.

[0008]

Способ совмещения карт оттенков является способом получения изображения с высокой битовой глубиной на основе изображения с низкой битовой глубиной (см. Непатентный Документ 4). Это способ для преобразования дискретных значений в сигнал, имеющий больший динамический диапазон, посредством совмещения карт.

Непатентный документ 1: Keita Takahashi and Takeshi Naemura. “Layered Light-Field

Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, том 21, №6, стр.519-530 (июль 2006).

Непатентный документ 2: M. Droese, T. Fujii and M. Tanimoto. “Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, стр.247-250, Познань, Польша, сентябрь 2004.

Непатентный документ 3: Takashi Matsuyama, Takeshi Takai, Xiaojunn Wu and Shohei Nobuhara. "Generation, Editing, and Visualization of 3D Video", Proceedings of The Virtual Reality Society of Japan, том 7, №4, стр. 521-532, декабрь 2002.

Непатентный документ 4: E. Reinhard, M. Stark, P. Shirley and J. Ferwerda. “Photographic Tone Reproduction for Digital Images”, представленный на SIGGRAPH, 2002.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача, решаемая изобретением

[0009]

Для предлагаемой авторами настоящего изобретения новой технологии обработки изображения в нескольких проекциях, имеющего разные битовые глубины, задачей настоящего изобретения является восстановление отсутствующих в изображении с низкой битовой глубиной данных, которые представлены широким динамическим диапазоном, тем самым улучшая субъективное качество изображения для изображения с низкой битовой глубиной.

Средства для решения задачи

[0010]

В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные битовые глубины, не применяется. Таким образом, задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные битовые глубины.

При использовании камер с разной битовой глубиной в системе создания изображения в нескольких проекциях представлены как изображение, имеющее высокую битовую глубину, так и изображение, имеющее низкую битовую глубину. Даже в случае использования камер с одинаковой битовой глубиной количество данных может быть снижено путем снижения битовой глубины части камер, что является предпочтительным для сжатия изображения в нескольких проекциях. Также в этом случае представлены как изображение, имеющее высокую битовую глубину, так и изображение, имеющее низкую битовую глубину.

[0011]

В вышеописанных случаях данные изображения, относящиеся к низкой битовой глубине, не содержат данные, представленные широким динамическим диапазоном. Следовательно, в сравнении с данными изображения с местоположения камеры, на котором создание изображения производилось с высокой битовой глубиной, данные изображения с местоположения камеры, на котором создание изображения производилось с низкой битовой глубиной, имеют более низкое субъективное качество изображения.

[0012]

Следовательно, настоящее изобретение решает такую проблему и восстанавливает данные, представленные широким динамическим диапазоном, которые изображение с низкой битовой глубиной утеряло, тем самым улучшая субъективное качество изображения для изображения с низкой битовой глубиной.

[0013]

Настоящее изобретение будет объяснено в целом. Например, совокупный объем обрабатываемых данных изображения может быть снижен путем создания изображения сцены, используя множество камер с различной битовой глубиной. Следовательно, в этом случае, объем кода видеоизображения в нескольких проекциях может быть значительно снижен.

Битовая глубина отражает динамический диапазон сигнала, например 8 бит или 10 бит. Когда существует диапазон, в котором не производилось создание изображения (то есть, когда динамический диапазон низкий), данные, относящиеся к релевантной части, теряются, что снижает субъективное качество изображения и приводит к проблеме, заключающейся в снижении объема кода видеоизображения в нескольких проекциях.

[0014]

Настоящее изобретение решает вышеописанную задачу путем восстановления таких потерянных данных, релевантного диапазона. В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные битовые глубины, не используется. Задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющее разные битовые глубины.

[0015]

В целях решения данной задачи настоящее изобретение применяет технический способ восстановления в целевом изображении данных, имеющих высокую битовую глубину путем использования данных другой камеры, имеющих высокую битовую глубину. Соответственно, при использовании видеоизображения в нескольких проекциях, полученного с использованием множества камер с разной битовой глубиной, имеется возможность уменьшить общий объем обрабатываемых данных изображения без ухудшения субъективного качества изображения.

[0016]

Настоящее изобретение предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего битовую глубину выше, чем у изображения A, при этом способ содержит:

этап увеличения битовой глубины изображения, на котором формируют изображение C, имеющее такую же битовую глубину, как у изображения B, путем увеличения битовой глубины изображения A посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также оценивают местоположение релевантной соответствующей точки; и

этап назначения соответствующего изображения, на котором каждому местоположению пикселя в изображении C, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B.

[0017]

В соответствии с вышеописанным способом формирования изображения обеспечивается возможность формировать изображение с высокой битовой глубиной, соответствующее выбранному изображению, путем использования данных широкого динамического диапазона, входящих в состав другого изображения. Если для формирования изображения другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, то для предотвращения отсутствия данных изображения могут быть использованы данные изображения, имеющие битовую глубину, увеличенную по отношению к исходным данным с низкой битовой глубиной посредством совмещения карт оттенков.

[0018]

При оценке соответствующих точек данные соответствующей точки могут быть предоставлены как входные данные, либо каждая соответствующая точка может быть найдена путем использования данных изображения. В случае предоставления данных соответствующей точки в качестве входных данных, данные глубины или геометрические данные релевантной сцены могут быть оценены заранее, а затем могут быть оценены соответствующие точки между изображениями.

[0019]

Во время поиска каждой соответствующей точки может быть вычислено абсолютное значение каждого расхождения между соответствующими пикселями (то есть между каждым пикселем изображения C и одним или более кандидатами пикселя в изображении B). Когда минимальное абсолютное значение меньше либо равно заранее определенному порогу, точка, которая привела к получению минимального значения, может быть оценена как соответствующая точка. Когда минимальное абсолютное значение больше порога, может быть оценено, что соответствующей точки не существует.

Также предпочтительно, посредством записи в файл, хранить порог совместно с релевантными данными изображения, имеющими низкую битовую глубину. При формировании данных изображения, имеющих высокую битовую глубину, используя хранящиеся данные изображения, имеющие низкую битовую глубину, точно такое же изображение может быть всегда сформировано путем использования порога, включенного в релевантный файл.

[0020]

При создании изображения сцены с множества направлений, используя камеры с различной битовой глубиной, изображение с высокой битовой глубиной, соответствующее изображению с камеры с низкой битовой глубиной, может быть сформировано, используя изображение с другой камеры, имеющее высокую битовую глубину. Этот способ может быть применен не только для изображения в нескольких проекциях, но так же для видеоизображения полученного с единственной камеры. Таким образом, когда кадры видеоизображения имеют разную битовую глубину, изображение, имеющее высокую битовую глубину, соответствующее изображению кадра с низкой битовой глубиной, может быть сформировано, используя изображение другого кадра, имеющего высокую битовую глубину.

[0021]

Вышеописанный способ может дополнительно включать в себя этап интерполяции, на котором формируют данные изображения для каждого местоположения пикселя в изображении C, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения.

[0022]

Когда для формирования изображения релевантное другое изображение не имеет сигнала, соответствующего целевому местоположению пикселя, тогда целевые данные изображения формируются посредством интерполяции, используя уже сформированный сигнал изображения на прилегающем местоположении, который имеет высокую битовую глубину, таким образом предотвращая возможность отсутствия данных изображения.

[0023]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего битовую глубину выше, чем у изображения A, при этом способ содержит:

этап увеличения битовой глубины изображения, на котором формируют изображение D, имеющее такую же битовую глубину как у изображения B, путем увеличения битовой глубины изображения A посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка не существует, формируют данные изображения посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения битовой глубины изображения, на котором формируют изображение F, имеющее такую же битовую глубину, что и у изображения A, путем снижения битовой глубины изображения E посредством совмещения карт оттенков;

этап формирования расхождений, на котором вычисляет расхождение между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в таком же местоположении пикселя в изображении F; и

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, этап назначения данных назначают данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше этого порога, на этапе назначения данных назначают данные изображения, основывающиеся на данных изображения из изображения D, каждому соответствующему местоположению пикселя в изображении C.

[0024]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D, или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E.

[0025]

В соответствии с вышеописанным способом формирования изображения, в случае возникновения ошибки в оценке соответствующей точки между выбранным изображением и другим изображением, вместо того, чтобы использовать изображение, имеющее высокую битовую глубину, сформированное способом, основанным на вышеописанном изобретении, для снижения ухудшения качества изображения вызванного ошибкой оценки могут быть использованы: (i) данные изображения, полученные путем увеличения исходных с низкой битовой глубиной посредством совмещения карт оттенков, или (ii) взвешенное среднее между сформированными данными изображения, имеющими высокую битовую глубину, и данными изображения, полученными путем увеличения исходной низкой битовой глубины посредством совмещения карт оттенков.

[0026]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, которые имеет одну и ту же битовую глубину, при этом способ содержит:

этап уменьшения битовой глубины опорного изображения, на котором формируют изображение G, имеющее битовую глубину ниже, чем у изображения A, путем уменьшения битовой глубины изображения A посредством совмещения карт оттенков;

этап увеличения битовой глубины изображения, на котором формируют изображение D, имеющее такую же битовую глубину, что и изображение A, путем увеличения битовой глубины изображения G посредством совмещения карт оттенков;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя изображения E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения битовой глубины изображения, на котором формируют изображение F, имеющее такую же битовую глубину, что и у изображения G, путем уменьшения битовой глубины изображения E посредством совмещения карт оттенков;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя у изображения G и данными изображения в том же самом местоположении пикселя в изображении F;

этап установки порога, на котором устанавливают порог;

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают каждому соответствующему местоположению пикселя в изображении C данные изображения в изображении E и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения, основывающиеся на данных изображения в изображении D;

этап суммирования сформированных расхождений, на котором вычисляют сумму расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным на этапе выбора изображения, и изображением A; и

этап определения порога, на котором определяют порог, который дает минимальное значение в суммах расхождений, вычисленных на этапе суммирования сформированных расхождений, на основе результата повторения этапа выбора изображения и этапа суммирования сформированных расхождений при изменении порога, установленного на этапе установки порога, в пределах заранее определенного диапазона.

[0027]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное в этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D, или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображение из изображения E.

[0028]

В соответствии с вышеописанным способом формирования изображения, при преобразовании битовой глубины изображения к низкому значению, а затем к высокому значению, когда происходит формирование изображения, имеющего высокую битовую глубину, вышеописанным способом, величина ухудшения качества, вызванная ошибкой оценки соответствующей точки, измеряется, и может быть задан порог для выбора сформированного описанным выше способом изображения, имеющего высокую битовую глубину, что приведет к минимизации ухудшения качества. Величина ухудшения качества может быть измерена, потому что также имеются данные изображения исходной битовой глубины.

[0029]

Параметр порога может быть использован, как описано ниже. После оценки порога значение добавляется в качестве параметра порога к данным изображения, имеющего низкую битовую глубину. Например, параметр порога также хранится в файле, совместно с изображением, имеющим низкую битовую глубину, и другим релевантным изображением. В файл не включаются никакие данные изображения, относящиеся к изображению до момента преобразования к низкой битовой глубине. По этой причине данные изображения, имеющие битовую глубину ниже, чем у исходного изображения, подлежат записи в файл, что снижает размер файла. При чтении файла изображение, имеющее высокую битовую глубину, может быть сформировано на основе изображения с низкой битовой глубиной и другого изображения путем использования параметра порога, при этом изображение, имеющее высокую битовую глубину, имеет минимальное ухудшение субъективного качества изображения.

[0030]

В добавление, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога и используется вышеописанный способ (ii), изображение, имеющее битовую глубину, увеличенную с использованием изображения, имеющего низкую битовую глубину, посредством совмещения карт оттенков, не применяется к сигналу формируемого изображения, а применяется взвешенное среднее между изображением, имеющим увеличенную битовую глубину, и изображением, исходно имеющего высокую битовую глубину. Следовательно, является возможным снизить размывание в изображении благодаря увеличению битовой глубины (от изображения с низкой битовой глубиной) путем совмещения карт оттенков.

[0031]

Настоящее изобретение так же предоставляет устройства формирования изображения, которые формирует изображение в соответствии с вышеописанными способами.

Результат изобретения

[0032]

В соответствии с настоящим изобретением для данных изображения, полученных с местоположения камеры, имеющей низкую битовую глубину, могут быть сформированы данные изображения, имеющие высокую битовую глубину, используя данные изображения, полученные с местоположения камеры, имеющей высокую битовую глубину, тем самым уменьшая ухудшение субъективного качества изображения.

ПЕРЕЧЕНЬ ЧЕРТЕЖЕЙ

[0033]

Фиг.1 является схемой, отражающей структуру устройства формирования изображения в качестве первого варианта осуществления настоящего изобретения.

Фиг.2 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту варианта осуществления.

Фиг.3 является схемой, отражающей работу устройства формирования изображения в качестве второго варианта осуществления настоящего изобретения.

Фиг.4 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.5 является схемой, отражающей структуру устройства формирования изображения в качестве третьего варианта осуществления настоящего изобретения.

Фиг.6 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.7 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.8 является схемой, отражающей структуру устройства формирования изображения в качестве четвертого варианта осуществления настоящего изобретения.

Фиг.9 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.10 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.11 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение вдоль прямой линии.

Фиг.12 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение в плоскости.

Фиг.13 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по дуге.

Фиг.14 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по сферической поверхности.

Ссылочные обозначения

[0034]

101, 201, 301, 401 - модуль увеличения битовой глубины изображения

102, 202, 302, 402 - средство оценки соответствующих точек

103, 203, 303, 403 - модуль назначения соответствующего изображения

204, 304, 404 - средство интерполяции изображения

305, 405 - модуль уменьшения битовой глубины изображения

306, 406 - средство формирования расхождений

307, 407 - средство выбора изображения

308, 408 - средство формирования изображения

409 - модуль суммирования сформированных расхождений

410 - модуль установки порога

411 - модуль определения порога

412 - модуль снижения битовой глубины опорного изображения

НАИЛУЧШИЙ СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0035]

Вариант осуществления устройства формирования изображения настоящего изобретения будет показан со ссылкой на чертежи.

[0036]

Первый вариант осуществления

В первом варианте осуществления, изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены разными камерами, используются для формирования изображения C, которое соответствует изображению A, но имеет высокую битовую глубину (соответствующую той, что имеет изображение B). В данном случае цвет всех сигналов, получаемых с камер, формируется, используя YUV сигналы (то есть сигнал яркости Y и сигналы цветности U и V). В настоящем варианте осуществления обрабатывается только сигнал Y.

[0037]

Фиг.1 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 101 увеличения битовой глубины изображения для увеличения битовой глубины изображения A таким образом, чтобы сформировать изображение C, имеющее такую же битовую глубину, что и у изображения B; средство 102 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; и модуль 103 назначения соответствующего изображения для назначения каждому местоположению пикселя в изображении C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B.

[0038]

Модуль 101 увеличения битовой глубины изображения увеличивает битовую глубину релевантного изображения, используя способ (совмещение карт оттенков), раскрытый в Непатентном Документе 4, таким образом, чтобы сформировать изображение C.

Средство 102 оценки соответствующих точек использует параметры камеры или известные технологии согласования, для того чтобы сделать допущение в отношении одного или более кандидатов пикселя (в изображении B), соответствующего каждому из пикселей в изображении C, и вычисляет абсолютное значение расхождения между каждой парой соответствующих пикселей. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) меньше либо равно заранее определенному порогу, средство 102 оценки соответствующих точек, оценивает точку, которая показала наименьшее значение, как соответствующую точку. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) больше этого заранее определенного порога, средство 102 оценки соответствующих точек, оценивает, что точки, соответствующей релевантному пикселю в изображении C, не существует.

[0039]

Основываясь на вышеописанном предположении, устройство формирования изображения на Фиг.1 работает, как описано ниже. Фиг.2 является логической блок-схемой, отображающей эту работу.

[0040]

Во-первых, модуль 101 увеличения битовой глубины изображения формирует изображение C путем увеличения битовой глубины изображения A с помощью совмещения карт оттенков (см. этап S10). Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B посредством вышеописанного способа (см. этап S11). Каждому пикселю изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующей точки в изображении B (см. этап S12). Вышеописанным процессом формируется изображение C.

Модуль 101 увеличения битовой глубины изображения может использовать другой способ совмещения карт оттенков.

[0041]

Средство 102 оценки соответствующих точек вычисляет абсолютное значение каждого расхождения между релевантными пикселями в вышеописанном процессе. Тем не менее, оценка может быть произведена, используя блок, состоящий из множества пикселей, где центральный пиксель является целевым пикселем для оценки. Например, для каждого пикселя в изображении C делается допущение касаемо одного или более кандидатов соответствующего пикселя в изображении B, и общая сумма абсолютных значений расхождений от множества пикселей, которые образуют блок и чьим центром является каждый кандидат. Местоположение кандидата, который дает минимальное значение общей суммы, может быть оценено как соответствующая точка.

[0042]

В вышеописанном примере изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены разными камерами, используются для формирования изображения C, имеющего высокую битовую глубину. Однако для формирования изображения C, имеющего высокую битовую глубину, могут быть использованы изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину, которые были получены с общей камеры, но в разные моменты времени.

[0043]

В добавление, несмотря на то, что в вышеприведенном процессе для формирования изображения C использовались изображения A и B, так же может быть использовано множество изображений B. Пример использования двух изображений B (B1 и B2) будет показан ниже. Будет объяснен процесс для этого случая, при этом структура его такая же, как и у описанного выше.

[0044]

Во-первых, модуль 101 увеличения битовой глубины изображения формирует изображение C путем увеличения битовой глубины изображения A посредством совмещения карт оттенков.

Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B1 посредством вышеописанного способа. Каждому местоположению в изображении C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B1.

Таким же образом, средство 102 оценки соответствующих точек, оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B2. Каждому местоположению изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B2.

Вышеописанным процессом формируется изображение C.

[0045]

Если оценено, что соответствующая точка существует как в изображении B1, так и B2, то: (i) приоритет может быть отдан любому из заранее определенных B1 и B2 для назначения их данных изображения изображению C; (ii) изображению C могут быть назначены данные изображения B1 или B2, которые имеют наименьшее расхождение от соответствующего пикселя в изображении C; или (iii) изображению C может быть назначено среднее от данных изображения изображений B1 и B2.

Таким же образом может быть сформировано изображение C, имеющее высокую битовую глубину, когда имеются три и более изображений B.

В других вариантах осуществления ниже по тесту, когда существует множество изображений B, процессы могут быть реализованы точно таким же образом.

[0046]

Второй вариант осуществления

Подобно первому варианту осуществления, во втором варианте осуществления для формирования изображения C, которое соответствует изображению A, но имеет высокую битовую глубину, используются полученные разными камерами изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину. При этом, если не было найдено соответствующей точки, формирование изображения производится посредством интерполяции, используя данные изображения окружающих пикселей, имеющих высокую битовую глубину.

[0047]

Фиг.3 представляет общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 201 увеличения битовой глубины изображения для увеличения битовой глубины изображения A таким образом, чтобы сформировать изображение C; средство 202 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; модуль 203 назначения соответствующего изображения, для назначения каждому местоположению пикселя в изображении C, для которого средство 202 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B; и средство 204 интерполяции для формирования данных изображения в каждом местоположении пикселя в изображении C, для которого средство 202 оценки соответствующих точек оценило, что соответствующей точки не существует, используя данные изображения, назначенные модулем 203 назначения изображения.

[0048]

Средство 204 интерполяции изображения формирует данные изображения в каждом местоположении пикселя в изображении C, для которого было оценено, что соответствующей точки не существует, путем использования данных изображения в местоположениях пикселя в изображении B, которые были назначены на основании результатов оценки, подтверждающих существование соответствующих точек. Более конкретно, производится линейная интерполяция в соответствии с расстояниями, измеренными от местоположений пикселей, которым были назначены данные изображения из изображения B.

[0049]

Основываясь на вышеописанном предположении, устройство формирования изображения на Фиг.3 работает, как описано ниже. Фиг.4 является логической блок-схемой, отображающей эту работу.

[0050]

Во-первых, модуль 201 увеличения битовой глубины изображения формирует изображение C путем увеличения битовой глубины изображения A посредством совмещения карт оттенков (см. этап S20). Средство 202 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B (см. этап S21). Каждому пикселю изображения C, для которого средство 202 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 203 назначения соответствующего изображения назначает данные изображения из соответствующей точки в изображении B (см. этап S22). Каждому местоположению пикселя, для которого средство 202 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 204 интерполяции изображения формирует данные изображения посредством интерполяции, используя данные изображения, которые уже были назначены модулем 203 назначения соответствующего изображения (см. этап S23). Вышеописанным процессом формируется изображение C.

[0051]

В вышеописанном процессе средство 204 интерполяции изображения формирует релевантные данные изображения посредством линейной интерполяции. Тем не менее, данные изображения могут быть сформированы и нелинейным процессом. В обоих случаях данные изображения формируются с использованием данных изображения, которые уже были назначены модулем 203 назначения соответствующего изображения.

[0052]

Третий вариант осуществления

Подобно первому варианту осуществления, в третьем варианте осуществления для формирования изображения C, которое соответствует изображению A, но имеет высокую битовую глубину (соответствующую той, что имеет изображение B), используются полученные разными камерами изображение A, имеющее низкую битовую глубину, и изображение B, имеющее высокую битовую глубину. Тем не менее, сформированные данные изображения применяются только к каждому местоположению пикселя, для которого расхождение между исходным изображением A и изображением, полученным путем уменьшения динамического диапазона сформированных данных изображения, мало.

В следующем примере изображение D является изображением, полученным путем увеличения битовой глубины изображения A посредством совмещения карт оттенков на первом этапе, а изображение E является временным изображением для обработки и имеет точно такой же размер (точно такую же структуру пикселя), что и изображение D.

В добавление, формируется изображение F путем снижения битовой глубины изображения E посредством совмещения карт оттенков, и оно является временным изображением (для обработки), имеющим низкую битовую глубину (то есть такую же битовую глубину, что и у изображения A).

[0053]

Фиг.5 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 301 увеличения битовой глубины изображения для увеличения битовой глубины изображения A посредством совмещения карт оттенков таким образом, чтобы сформировать изображение D; средство 302 оценки соответствующих точек, для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении D и которая оценки местоположения релевантной соответствующей точки; модуль 303 назначения соответствующего изображения для назначения местоположения пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого средство 302 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B; и средство 304 интерполяции изображения для формирования данных изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого средство 302 оценки соответствующих точек оценило, что соответствующей точки не существует, путем использования данных изображения, назначенных модулем 303 назначения соответствующего изображения; модуль 305 уменьшения битовой глубины изображения для уменьшения битовой глубины изображения E посредством совмещения карт оттенков таким образом, чтобы сформировать изображение F, имеющее низкую битовую глубину; средство 306 формирования расхождений для вычисления расхождения между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в таком же местоположении (как местоположение пикселя в изображении A) в изображении F; и средство 307 выбора изображения. Когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, меньше или равно порогу, средство 307 выбора изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C. Когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, больше порога, средство 307 назначения изображения назначает релевантные данные изображения из изображения D каждому соответствующему местоположению пикселя в изображении C.

[0054]

Модуль 305 уменьшения битовой глубины изображения формирует данные изображения (то есть изображение F), имеющие низкую битовую глубину, используя, например, способ, описанный в Непатентном Документе 4.

Средство 306 формирования расхождений формирует вышеописанное расхождение в каждом местоположении пикселя.

Средство 307 выбора изображения заранее определяет порог для расхождения и сравнивает этот порог с расхождением, полученным средством 306 формирования расхождений.

[0055]

Основываясь на вышеописанном допущении, устройство формирования изображения на Фиг.5 работает, как описано ниже. Фиг.6 является логической блок-схемой, отображающей эту работу.

[0056]

Во-первых, модуль 301 увеличения битовой глубины изображения формирует изображение D путем увеличения битовой глубины изображения A с помощью совмещения карт оттенков (см. этап S30). Средство 302 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения, между изображением D и изображением B (см. этап S31). Модуль 303 назначения соответствующего изображения назначает данные изображения каждого местоположения в изображении B, для которого средство 302 оценки соответствующих точек оценило, что соответствующая точка существует, изображению E (см. этап S32).

[0057]

Для каждого местоположения, для которого средство 302 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 304 интерполяции изображения формирует данные изображения в изображении E посредством интерполяции, используя данные изображения, которые уже были назначены модулем 303 назначения соответствующего изображения (см. этап S33).

Модуль 305 уменьшения битовой глубины изображения формирует изображение F, имеющее низкую битовую глубину, путем уменьшения битовой глубины изображения E посредством совмещения карт оттенков (см. этап S34). Средство 306 формирования расхождений формирует расхождение между изображением А и изображением F (см. этап S35).

В соответствии с расхождением, полученным средством 306 формирования расхождений, средство 307 выбора изображения выбирает изображение E или изображение D для каждого местоположения пикселя, чтобы сформировать таким образом изображение C (см. этап S36).

[0058]

Модуль 305 уменьшения битовой глубины изображения может формировать изображение, имеющее низкую битовую глубину, используя другой способ.

Средство 306 формирования расхождений может формировать расхождение между блоками, в которых целевой пиксель расположен в центре каждого блока (ссылаясь на первый вариант осуществления).

[0059]

В средстве 307 выбора изображения, (i) когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, мало, релевантные данные изображения из изображения E из изображения D назначаются каждому соответствующему местоположению пикселя в изображении C, а когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, большое, релевантные данные изображения назначаются каждому соответствующему местоположению пикселя в изображении C.

Вместо средства 307 выбора изображения может быть представлено средство 308 формирования изображения, показанное на Фиг.7.

[0060]

Фиг.7 отображает общую структуру релевантного устройства. В этом случае, (i) когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, меньше либо равно порогу, средство 308 формирования изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C; а (ii) когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, больше порога, средство 308 формирования назначает каждому соответствующему местоположению пикселя в изображении C значение, полученное как взвешенное среднее между релевантными данными изображения из изображения D и релевантными данными изображения из изображения E.

В соответствии с вышеописанным способом, когда расхождение большое, может быть использовано взвешенное среднее между изображением D, полученным совмещением карт оттенков, и изображением E, сформированным с использованием другого изображения, вместо простого использования изображения D, полученного увеличением битовой глубины посредством совмещения карт оттенков. Этот способ является предпочтительным, когда ухудшение качества изображения D, полученного совмещением карт оттенков, является значительным.

[0061]

Четвертый вариант осуществления

В четвертом варианте осуществления имеются изображения A и B, которые были получены с общей камеры и которые имеют одну и ту же битовую глубину, и изображение C, близкое к изображению A, которое было сформировано, используя уменьшенное изображение из изображения A и изображения B. Здесь сформированные данные изображения применяются только к каждому местоположению пикселя, в котором расхождение между исходным изображением A и изображением, полученным уменьшением динамического диапазона сформированных данных изображения, мало. Настоящий вариант осуществления также имеет отличительную особенность, выраженную в оценке порога, применяемого к расхождению между двумя изображениями в каждом местоположении пикселя.

[0062]

Фиг.8 отображает общую структуру устройства. То есть устройство формирования изображения настоящего варианта осуществления имеет:

(i) модуль 412 снижения битовой глубины опорного изображения, для того, чтобы подвергнуть изображение A процессу совмещения карт оттенков таким образом, чтобы сформировать изображение G, имеющее низкую битовую глубину,

(ii) модуль 401 увеличения битовой глубины изображения для увеличения битовой глубины изображения G посредством совмещения карт оттенков таким образом, чтобы сформировать изображение D, имеющее такую же битовую глубину, что и изображения A и B,

(iii) средство 402 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также для оценки местоположения релевантной соответствующей точки,

(iv) модуль 403 назначения соответствующего изображения, для назначения местоположению пикселя в изображении E (временное изображение (для обработки), имеющее тот же размер, что и у изображения D), равному каждому местоположению пикселя в изображении D, для которого средство 402 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B,

(v) средство 404 интерполяции изображения для формирования данных изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого средство 402 оценки соответствующих точек оценило, что соответствующей точки не существует, путем использования данных изображения, назначенных модулем 403 назначения соответствующего изображения,

(vi) модуль 405 уменьшения битовой глубины изображения для уменьшения битовой глубины изображения E посредством совмещения карт оттенков таким образом, чтобы сформировать изображение F, имеющее низкую битовую глубину (такую же битовую глубину, что и у изображения G),

(vii) средство 406 формирования расхождений для вычисления расхождения между данными изображения в каждом местоположении пикселя в изображении G и данными изображения в таком же местоположении пикселя в изображении F,

(viii) модуль 410 установки порога для установки множества порогов в пределах заранее определенного диапазона,

(ix) средство 407 выбора изображения, причем для каждого порога, установленного модулем 410 установки порога, когда расхождение в каждом местоположении пикселя, вычисленное средство 406 формирования расхождений, меньше либо равно порогу, средство 407 выбора изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C, а когда расхождение в каждом местоположении пикселя, вычисленное средством 406 формирования расхождений, больше порога, средство 407 выбора изображения назначает релевантные данные изображения из изображения D каждому соответствующему местоположению пикселя в изображении C;

(x) модуль 409 суммирования сформированных расхождений для вычисления суммы расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным средством 407 выбора изображения, и изображением A, и

(xi) модуль 411 определения порога для определения порога, который образует минимальное значение в суммах расхождений, вычисленных модулем 409 суммирования сформированных расхождений.

[0063]

Модуль 410 установки порога увеличивает порог путем приращения на 10 в диапазоне от 10 до 50.

[0064]

Основываясь на вышеописанном допущении, устройство формирования изображения на Фиг.8 работает, как описано ниже. Фиг.9 является логической блок-схемой, отображающей эту работу.

[0065]

Во-первых, модуль 412 уменьшения битовой глубины опорного изображения формирует изображение G, имеющее низкую битовую глубину, путем уменьшения битовой глубины изображения A посредством совмещения карт оттенков (см. этап S40).

Модуль 401 увеличения битовой глубины изображения формирует изображение D, имеющее высокую битовую глубину (то есть такую же битовую глубину, что и изображений A и B), используя изображение G (см. этап S41).

Средство 402 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением D и изображением B (см. этап S42).

Модуль 403 назначения соответствующего изображения назначает данные изображения каждого местоположения в изображении B, для которого средство 402 оценки соответствующих точек оценило, что соответствующая точка существует, изображению E (см. этап S43).

[0066]

Для каждого местоположения, для которого средство 402 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 404 интерполяции изображения формирует данные изображения в изображении E посредством интерполяции, используя данные изображения, которые уже были назначены модулем 403 назначения соответствующего изображения (см. этап S44).

Модуль 405 уменьшения битовой глубины изображения формирует изображение F, имеющее низкую битовую глубину, используя изображение E (см. этап S45).

Средство 406 формирования расхождений формирует расхождения между изображением G и изображением F (см. этап S46).

[0067]

Далее, модуль 410 установки порога устанавливает порог равным 10 (см. этап S47).

Средство 407 выбора изображения сравнивает расхождение, полученное средством 406 формирования расхождений, с порогом и выбирает изображение E или изображение D для каждого местоположения пикселя, чтобы сформировать таким образом изображение C (см. этап S48).

Модуль 409 суммирования сформированных расхождений вычисляет сумму расхождений между изображением C и изображением A (см. этап S49).

Вышеописанный процесс, исполняемый модулем 410 установки порога, средством 407 выбора изображения и модулем 409 суммирования сформированных расхождений, повторно выполняется при увеличении порога путем приращений на 10 вплоть до 50 (см. этап S50 и S51).

[0068]

Далее, модуль 411 определения порога определяет порог, который дает минимальное значение, полученное модулем 409 суммирования сформированных расхождений (см. этап S52).

[0069]

В вышеописанной структуре вместо средства 407 выбора изображения может быть использовано средство 408 формирования изображения. Общая структура релевантного устройства отображена на Фиг.10.

В средстве 408 формирования изображения, (i) когда расхождение в каждом местоположении пикселя, полученное средством 406 формирования расхождений, мало, релевантные данные изображения из изображения E назначаются соответствующему местоположению пикселя в изображении C, а (ii) когда расхождение в каждом местоположении пикселя, полученное средством 406 формирования расхождений, велико, соответствующему местоположению пикселя в изображении C назначается взвешенное среднее между релевантными данными изображения из изображения D и релевантными данными изображения из изображения E.

[0070]

В вышеописанных вариантах осуществления были объяснены процессы для входных изображений от множества камер. Тем не менее, релевантные способы могут быть применены не только для такого изображения в разных проекциях, но так же и к видеоизображению от одной камеры.

То есть, если битовая глубина каждого из кадров в видеоизображении не постоянна, изображение, имеющее высокую битовую глубину, соответствующее изображению кадра, имеющего низкую битовую глубину, может быть сформировано, используя изображение другого кадра, имеющего высокую битовую глубину.

В примере по настоящей заявке, изображение C, имеющее высокую битовую глубину, формируется, используя изображение A кадра, имеющего низкую битовую глубину, и изображение B другого кадра, имеющего высокую битовую глубину.

[0071]

В добавление, не смотря на то, что в вышеописанных вариантах осуществления обрабатывался только сигнал Y, может быть обработан и другой цветовой сигнал, такой как RGB.

Релевантные способы так же могут быть применены к случаю, когда в YUV сигнале Y сигнал имеет постоянную битовую глубину, а U и V сигналы имеют непостоянную битовую глубину. В таком случае модулем увеличения битовой глубины увеличение применяется только к сигналам U и V, а сигнал Y копируется без изменений. Средством оценки соответствующих точек оценка может быть произведена, используя сигнал Y и не используя сигналы, имеющие увеличенную битовую глубину, основанную на сигналах U и V.

[0072]

Вышеописанный процесс формирования изображения так же может быть реализован компьютером и программным обеспечением. Такая компьютерная программа может быть предоставлена как хранением ее на машиночитаемом носителе данных, так и посредством сети.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0073]

В соответствии с настоящим изобретением, для данных изображения, полученных в местоположении камеры, имеющем низкую битовую глубину, данные изображения, имеющие высокую битовую глубину, могут быть сформированы, используя данные изображения, полученные с местоположения камеры, имеющего высокую битовую глубину, тем самым уменьшая ухудшение субъективного качества изображения.

Изобретение относится к способам формирования изображения. Технический результат заключается в улучшении качества изображения с низкой битовой глубиной. Формируют данные изображения в изображении С путем использования изображения А и изображения В, имеющего битовую глубину выше, чем битовая глубина изображения А. Изображение С, имеющее такую же битовую глубину, что и у изображения В, формируют путем увеличения битовой глубины изображения А посредством совмещения карт оттенков. Оценивают наличие или отсутствие точки в изображении В, соответствующей каждому местоположению пикселя в изображении С, а также местоположение релевантной соответствующей точки. Каждому местоположению пикселя в изображении С, для которого оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении В. Обеспечивают возможность сформировать данные изображения в каждом местоположении пикселя в изображении С, для которого при оценке соответствующей точки оценено, что соответствующей точки не существует, путем использования данных изображения, назначенных в соответствии с результатом оценки, заключающимся в том, что соответствующая точка существует. 7 н. и 10 з.п. ф-лы, 14 ил.

1. Способ формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющего битовую глубину выше, чем битовая глубина изображения А, содержащий:
этап увеличения битовой глубины изображения, на котором формируют третье изображение С, имеющее такую же битовую глубину, что и у изображения В, путем увеличения битовой глубины первого изображения А посредством совмещения карт оттенков;
этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя в третьем изображении С, а также оценивают местоположение релевантной соответствующей точки; и
этап назначения соответствующего изображения, на котором назначают каждому местоположению пикселя в третьем изображении С, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В.

2. Способ формирования изображения по п.1 дополнительно содержащий:
этап интерполяции изображения, на котором формируют данные изображения в каждом местоположении пикселя в третьем изображении С, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения.

3. Способ формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющего битовую глубину выше чем битовая глубина изображения А, содержащий:
этап увеличения битовой глубины изображения, на котором формируют четвертое изображение D, имеющее такую же битовую глубину, что и у изображения В, путем увеличения битовой глубины первого изображения А посредством совмещения карт оттенков;
этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя в четвертом изображении D, а также оценивают местоположение релевантной соответствующей точки;
этап назначения соответствующего изображения, на котором назначают местоположению пикселя в пятом изображении Е, равному каждому местоположению пикселя в четвертом изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В;
этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя в пятом изображении Е, равном каждому местоположению пикселя в четвертом изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;
этап уменьшения битовой глубины изображения, на котором формируют шестое изображение F, имеющее такую же битовую глубину, что и у изображения А, путем уменьшения битовой глубины пятого изображения Е посредством совмещения карт оттенков;
этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в первом изображении А и данными изображения в таком же местоположении пикселя в шестом изображении F; и этап назначения данных изображения, при этом:
когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше или равно порогу, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения пятого изображения Е, и,
когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше этого порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения, основанные на данных изображения четвертого изображения D.

4. Способ формирования изображения по п.3, в котором, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения четвертого изображения D.

5. Способ формирования изображения по п.3, при этом, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С взвешенное среднее между данными изображения четвертого изображения D и данными изображения пятого изображения Е.

6. Способ формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющих одинаковую битовую глубину, а также используя с четвертого по седьмое изображения D-G, содержащий:
этап уменьшения битовой глубины опорного изображения, на котором формируют седьмое изображение G, имеющее битовую глубину, ниже чем битовая глубина изображения А, путем уменьшения битовой глубины изображения А посредством совмещения карт оттенков;
этап увеличения битовой глубины изображения, на котором формируют четвертое изображение D, имеющее такую же битовую глубину, что и у изображения А, путем увеличения битовой глубины седьмого изображения G посредством совмещения карт оттенков;
этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя четвертого изображения D, а также оценивают местоположение релевантной соответствующей точки;
этап назначения соответствующего изображения, на котором назначают местоположению пикселя в пятом изображении Е, равному каждому местоположению пикселя в четвертом изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В;
этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя в пятом изображении Е, равном каждому местоположению пикселя в четвертом изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;
этап уменьшения битовой глубины изображения, на котором формируют шестое изображения F, имеющее такую же битовую глубину, что и у изображения G, путем уменьшения битовой глубины пятого изображения Е посредством совмещения карт оттенков;
этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в седьмом изображении G и данными изображения в таком же местоположении пикселя в шестом изображении F;
этап установки порога, на котором устанавливают порог;
этап назначения данных изображения, при этом:
когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения пятого изображения Е; и
когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения, основанные на данных изображения четвертого изображения D;
этап суммирования сформированных расхождений, на котором вычисляют сумму расхождений в данных изображения в релевантных местоположениях пикселя между третьим изображением С, полученным на этапе назначения данных изображения, и первым изображением А; и этап определения порога, на котором определяют порог, который дает минимальное значение в суммах расхождений, вычисленных на этапе суммирования сформированных расхождений, основываясь на результате повторения этапа назначения данных изображения и этапа суммирования сформированных расхождений при изменении порога, установленного на этапе установки порога, в пределах заранее определенного диапазона.

7. Способ формирования изображения по п.6, в котором, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С данные изображения четвертого изображения D.

8. Способ формирования изображения по п.6, в котором, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в третьем изображении С взвешенное среднее между данными изображения четвертого изображения D и данными изображения пятого изображения Е.

9. Устройство формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющего битовую глубину выше, чем битовая глубина изображения А, содержащее:
модуль увеличения битовой глубины изображения, который формирует третье изображение С, имеющее такую же битовую глубину, что и у изображения В, путем увеличения битовой глубины первого изображения А посредством совмещения карт оттенков;
модуль оценки соответствующих точек, который оценивает наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя в третьем изображении С, а также оценивает местоположение релевантной соответствующей точки; и модуль назначения соответствующего изображения, который назначает каждому местоположению пикселя в третьем изображении С, для которого модуль оценки соответствующих точек оценил, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В.

10. Устройство формирования изображения по п.9, дополнительно содержащее:
модуль интерполяции изображения, который формирует данные изображения в каждом местоположении пикселя в третьем изображении С, для которого модуль оценки соответствующих точек оценил, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные модулем назначения соответствующего изображения.

11. Устройство формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющего битовую глубину выше, чем битовая глубина изображения А, содержащее:
модуль увеличения битовой глубины изображения, который формирует четвертое изображение D, имеющее такую же битовую глубину, что и у изображения В, путем увеличения битовой глубины первого изображения А посредством совмещения карт оттенков;
модуль оценки соответствующих точек, который оценивает наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя в четвертом изображении D, а также оценивает местоположение релевантной соответствующей точки;
модуль назначения соответствующего изображения, который назначает местоположению пикселя в пятом изображении Е, равному каждому местоположению пикселя в четвертом изображении D, для которого модуль оценки соответствующих точек оценил, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В;
модуль интерполяции изображения, который формирует данные изображения в местоположении пикселя в пятом изображении Е, равном каждому местоположению пикселя в четвертом изображении D, для которого модуль оценки соответствующих точек оценил, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные модулем назначения соответствующего изображения;
модуль уменьшения битовой глубины изображения, который формирует шестое изображение F, имеющее такую же битовую глубину, что и у изображения А, путем уменьшения битовой глубины пятого изображения Е посредством совмещения карт оттенков;
модуль формирования расхождений, который вычисляет расхождение между данными изображения в каждом местоположении пикселя в первом изображении А и данными изображения в таком же местоположении пикселя в шестом изображении F; и
модуль назначения данных изображения, при этом:
когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, меньше или равно порогу, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения пятого изображения Е, и,
когда расхождение в каждом местоположении пикселя вычисленное модулем формирования расхождений, больше этого порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения, основанные на данных изображения четвертого изображения D.

12. Устройство формирования изображения по п.11, в котором, когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, больше порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения четвертого изображения D.

13. Устройство формирования изображения по п.11, в котором, когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, больше порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С взвешенное среднее между данными изображения четвертого изображения D и данными изображения пятого изображения Е.

14. Устройство формирования изображения для формирования данных изображения третьего изображения С путем использования первого изображения А и второго изображения В, имеющих одинаковую битовую глубину, а также используя с четвертого по седьмое изображения D-G, содержащее:
модуль уменьшения битовой глубины опорного изображения, который формирует седьмое изображение G, имеющее битовую глубину ниже, чем битовая глубина изображения А, путем уменьшения битовой глубины изображения А посредством совмещения карт оттенков;
модуль увеличения битовой глубины изображения, который формирует четвертое изображение D, имеющее такую же битовую глубину, что и изображение А, путем увеличения битовой глубины седьмого изображения G посредством совмещения карт оттенков;
модуль оценки соответствующих точек, который оценивает наличие или отсутствие точки во втором изображении В, соответствующей каждому местоположению пикселя четвертого изображения D, а также оценивает местоположение релевантной соответствующей точки;
модуль назначения соответствующего изображения, который назначает местоположению пикселя в пятом изображении Е, равному каждому местоположению пикселя в четвертом изображении D, для которого модуль оценки соответствующих точек оценил, что соответствующая точка существует, данные изображения соответствующего местоположения во втором изображении В;
модуль интерполяции изображения, который формирует данные изображения в местоположении пикселя в пятом изображении Е, равном каждому местоположению пикселя в четвертом изображении D, для которого модуль оценки соответствующих точек оценил, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные модулем назначения соответствующего изображения;
модуль уменьшения битовой глубины изображения, который формирует шестое изображения F, имеющее такую же битовую глубину, что и у изображения G, путем уменьшения битовой глубины пятого изображения Е посредством совмещения карт оттенков;
модуль формирования расхождений, который вычисляет расхождение между данными изображения в каждом местоположении пикселя в седьмом изображении G и данными изображения в таком же местоположении пикселя в шестом изображении F;
модуль установки порога, который устанавливает порог;
модуль назначения данных изображения, при этом:
когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, меньше либо равно порогу, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения пятого изображения Е; и
когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, больше порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения, основанные на данных изображения четвертого изображения D;
модуль суммирования сформированных расхождений, который вычисляет сумму расхождений в данных изображения в релевантных местоположениях пикселя между третьим изображением С, полученным модулем назначения данных изображения, и первым изображением А; и
модуль определения порога, который определяет порог, который дает минимальное значение суммы расхождений, вычисленных модулем суммирования сформированных расхождений, основываясь на результате повторения операций в модуле назначения данных изображения и модуле суммирования сформированных расхождений при изменении порога, установленного модулем установки порога, в пределах заранее определенного диапазона.

15. Устройство формирования изображения по п.14, в котором, когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, больше порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С данные изображения четвертого изображения D.

16. Устройство формирования изображения по п.14, в котором, когда расхождение в каждом местоположении пикселя, вычисленное модулем формирования расхождений, больше порога, модуль назначения данных изображения назначает каждому соответствующему местоположению пикселя в третьем изображении С взвешенное среднее между данными изображения четвертого изображения D и данными изображения пятого изображения Е.

17. Машиночитаемый носитель, который хранит программу формирования изображения, с помощью которой компьютер реализует способ формирования изображения в соответствии с любым из пп.1, 3 и 6.