СПОСОБ ИМИТАЦИИ ЗЕРНИСТОСТИ ФОТОПЛЕНКИ НА ОСНОВЕ ПРЕДВАРИТЕЛЬНО ВЫЧИСЛЕННЫХ КОЭФФИЦИЕНТОВ ПРЕОБРАЗОВАНИЯ Российский патент 2009 года по МПК G06T5/00 H04N5/253 H04N7/26 

Перекрестная ссылка на родственные заявки

По настоящей заявке испрашивается приоритет согласно 35 U.S.C. 119(e) согласно предварительной заявке США на получение патента, регистрационный № 60/630640, поданной 23 ноября 2004 г., основные положения которой включены в настоящее описание.

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу имитации зернистости фотографической пленки в изображении.

Уровень техники

Кинопленки содержат галогенидосеребряные кристаллы, диспергированные в эмульсии, покрывающей тонкими слоями основу пленки. Экспонирование и проявление этих кристаллов образуют фотографическое изображение, состоящее из дискретных крошечных частиц серебра. В цветных негативах серебро подвергается химическому удалению после проявления, и в местах, в которых формируются кристаллы серебра, возникают мельчайшие пятна краски. Эти мелкие частицы краски на цветной пленке обычно называются "зерном". На результирующем изображении зерна выглядят произвольно распределенными благодаря произвольному формированию кристаллов серебра на первоначальной эмульсии. В пределах одинаково экспонированной площади некоторые кристаллы после экспонирования проявляются, тогда как другие не проявляются.

Зерна различаются по размерам и форме. Чем быстрее фильм, тем больше формируется скоплений серебра и создается пятен краски и тем больше они имеют тенденцию группироваться вместе в произвольные конфигурации. Структура зерна обычно известна как "зернистость". Невооруженный глаз не может различать отдельные зерна, размер которых варьируется от 0,0002 мм до приблизительно 0,002 мм. Вместо этого глаз видит группу зерен, упоминаемых как пятна. Зритель идентифицирует эти группы пятен как зернистость пленки. По мере того как увеличивается разрешающая способность изображения, восприятие зернистости пленки становится выше. Зернистость пленки становится явно заметной на кинофильме и на изображениях с высоким разрешением, тогда как для телевидения высокой четкости зернистость пленки постепенно теряет свое значение и становится малозначимой для более мелких форматов.

Кинопленка обычно содержит шум, зависимый от изображения, являющийся результатом либо физического процесса экспонирования и проявления фотографической пленки, либо последующего редактирования изображений. Фотографическая пленка обладает характерной квазислучайной структурой или текстурой, являющейся результатом физической неоднородности фотографической эмульсии. Альтернативно подобная структура может быть смоделирована на компьютерно создаваемых изображениях, чтобы подмешивать их к изображению на фотографической пленке. В обоих случаях этот зависящий от изображения шум упоминается как зернистость. Довольно часто в кинофильмах умеренная зернистая текстура рассматривается как желательная особенность. В некоторых случаях зернистость пленки обеспечивает зрительную информацию, облегчающую правильное восприятие двумерных картин. Зернистость пленки часто варьируется в пределах одного фильма, чтобы обеспечить различное зрительное восприятие в отношении ссылок на время, точки просмотра и прочего. В отрасли кинопроизводства существует много других технических и художественных применений для управления зернистостью текстуры. Поэтому сохранение зернистого вида изображений на протяжении всей обработки изображения и на этапе его передачи стало требованием в отрасли кинопроизводства.

Несколько коммерчески доступных продуктов дают возможность имитировать зернистость пленки, часто для подмешивания созданного компьютером объекта в натуральную сцену. Cineon® от компании Eastman Kodak Co, Rochester New York, одна из первых прикладных программ для цифровых фильмов, где реализуется имитация зернистости, создает очень реалистические результаты для многих типов зерна. Однако применение Cineon® не дает хороших показателей для многих высокоскоростных фильмов из-за заметных диагональных полос, которые ее применение создает при установках большого размера зерна. Кроме того, прикладная программа Cineon® неспособна моделировать зернистость с адекватной точностью воспроизведения, когда изображения подверглись предварительной обработке, например когда изображения копируются или обрабатываются цифровым способом.

Другим коммерческим продуктом, который моделирует зернистость пленки, является Grain Surgery™ компании Visual Infinity Inc., который используется в качестве вставки в Adobe® After Effects®. Продукт Grain Surgery™, как представляется, должен создавать синтетическую зернистость путем фильтрации набора случайных чисел. Характерным недостатком этого подхода является высокая сложность расчетов.

Ни одна из этих последних схем не решает проблемы восстановления зернистости пленки в сжатом видеосигнале. Зернистость пленки представляет собой высокочастотное квазислучайное явление, которое обычно не может подвергаться сжатию, используя традиционные пространственные и временные способы, обладающие преимуществом избыточностей в видеопоследовательностях. Попытки обрабатывать полученные на пленке изображения, используя способы сжатия MPEG-2 или ITU-T/ISO H.264, обычно приводят либо к неприемлемо низкой степени сжатия, либо к полной потере текстуры зернистости.

Таким образом, существует необходимость в способе, имитирующем зернистость пленки, особенно в способе, который обладает относительно низкой сложностью.

Краткое описание изобретения

Коротко говоря, в соответствии с представленными принципами обеспечивается способ имитации блока зернистости пленки. Выполнение способа начинается с получения предварительно рассчитанного блока преобразованных коэффициентов. Блок в форме предварительно рассчитанного блока преобразованных коэффициентов затем подвергается фильтрации, соответствующей частотному диапазону, который характеризует желаемую структуру зернистости пленки. (На практике частотный диапазон лежит в пределах набора частот среза f_HL, f_VL, f_HH и f_VH фильтра, в двух измерениях, который характеризует желаемую структуру зернистости пленки.) После этого отфильтрованный набор коэффициентов подвергается обратному преобразованию для получения структуры зернистости пленки.

Подробное описание чертежей

Фиг. 1 - блок-схема комбинации передатчика и приемника в цепи обработки зернистости пленки, полезной для реализации на практике принципов способа настоящего изобретения;

фиг. 2 - в форме блок-схемы последовательности операций показаны этапы первого способа создания блока зернистости пленки, используя предварительно вычисленные коэффициенты;

фиг. 3 - в форме блок-схемы последовательности операций показаны этапы способа формирования структуры зернистости пленки, используя предварительно вычисленные коэффициенты дискретного косинусного преобразования (DCT) одиночного изображения гауссова шума, и

фиг. 4 - в форме блок-схемы последовательности операций показаны этапы способа формирования структуры зернистости пленки, используя предварительно вычисленные коэффициенты дискретного косинусного преобразования (DCT) нескольких изображений гауссова шума.

Подробное описание

Для понимания принципов способа настоящего изобретения для имитации зернистости пленки с использованием набора предварительно вычисленных коэффициентов преобразования будет представлено краткое раскрытие имитации зернистости пленки. На фиг. 1 показана блок-схема передатчика 10, который принимает входной видеосигнал и, в свою очередь, формирует на своем выходе поток сжатого видеосигнала. Кроме того, передатчик 10 также формирует информацию, указывающую зернистость пленки (если она присутствует в образце). На практике передатчик 10 может содержать часть массива центральной станции кабельной телевизионной системы или такую другую систему, которая распределяет сжатый видеосигнал на один или более следующих дальше по ходу передачи сигнала приемников 11, один из которых показан на фиг. 1. Передатчик 10 может также принимать форму кодера, который представляет носитель информации, подобный DVD-дискам. Приемник 11 декодирует поток кодированного видеосигнала и имитирует зернистость пленки в соответствии с информацией о зернистости пленки и декодированным видеосигналом, которые принимаются от передатчика 10 или напрямую от самого носителя (среды) информации в случае DVD-диска или ему подобного носителя, для получения в результате потока выходного видеосигнала, который имеет имитированную зернистость пленки. Приемник 11 может принимать форму декодера каналов кабельного телевидения или такого другого механизма, который служит для декодирования сжатого видеосигнала и имитации зернистости пленки в этом видеосигнале.

Общее управление зернистостью пленки требует от передатчика 10 (то есть кодера) предоставлять информацию в отношении зернистости пленки в поступающем видеосигнале. Другими словами, передатчик 10 "моделирует" зернистость пленки. Дополнительно приемник 11 (то есть декодер) имитирует зернистость пленки в соответствии с информацией о зернистости пленки, принятой от передатчика 10. Передатчик 10 обеспечивает повышение качества сжатого видеосигнала, давая возможность приемнику 11 имитировать зернистость пленки в видеосигнале, когда во время процесса кодирования видеосигнала существует трудность в отношении сохранения зернистости пленки.

В показанном на фиг. 1 варианте осуществления передатчик 10 содержит видеокодер 12, который кодирует поток видеосигнала, используя любой из хорошо известных способов сжатия видеосигнала, например такой, как стандарт сжатия видеосигнала ITU-T Rec. H.264 | ISO/IEC 14496-10. Как вариант, устройство 14 удаления зернистости пленки в форме фильтра или ему подобного устройства, показанного пунктирной линией на фиг. 1, может устанавливаться до кодера 12 по ходу прохождения сигнала, чтобы удалять любую зернистость пленки в потоке входящего видеосигнала до его кодирования. В случае когда входящий видеосигнал не содержит зернистости пленки, нет необходимости в установлении устройства 14 удаления зернистости пленки.

Устройство 16 моделирования зернистости пленки принимает поток входного видеосигнала, а также выходной сигнал устройства 14 удаления зернистости пленки (когда оно присутствует). Используя такую входную информацию, устройство 16 моделирования зернистости пленки вводит зернистость пленки во входящий видеосигнал. В простейшей форме устройство 16 моделирования зернистости пленки может содержать справочную таблицу, содержащую модели зернистости пленки для различных видов пленки. Информация, содержащаяся в приходящем видеосигнале, должна указывать конкретный вид пленки, первоначально использованной для записи изображения перед его преобразованием в видеосигнал, тем самым давая возможность устройству 16 моделирования зернистости пленки выбрать соответствующую модель зернистости для такого вида пленки. Альтернативно устройство 16 моделирования зернистости пленки может содержать процессор или специализированную логическую схему, пригодную для выполнения одного или более алгоритмов осуществления выборки приходящего видеосигнала и определения структуры зернистости пленки, присутствующей в ней.

Приемник 11 обычно содержит видеодекодер 18, служащий для декодирования потока сжатого видеосигнала, принятого от передатчика 10. Структура декодера 18 будет зависеть от типа сжатия, выполненного кодером 12 внутри передатчика 10. Таким образом, например, использование внутри передатчика 10 кодера 12, который использует стандарт сжатия видеосигнала ITU-T Rec. H.264 | ISO/IEC 14496-10 для сжатия выходного видеосигнала, будет определять необходимость для H.264-совместимого декодера 18. В приемнике 11 имитатор 20 зернистости пленки принимает информацию о зернистости пленки от устройства 16 моделирования зернистости пленки. Имитатор 20 зернистости пленки может принимать форму запрограммированного процессора или специализированной логической схемы, обладающей способностью имитации зернистости пленки для объединения с потоком декодированного видеосигнала, используя объединитель 22.

Цель имитации зернистости пленки состоит в синтезировании образцов зернистости пленки, которые имитируют внешние черты содержания исходного фильма. Как было описано, моделирование зернистости пленки происходит в передатчике 10, показанном на фиг. 1, тогда как имитация зернистости пленки происходит в приемнике 11. В частности, имитация зернистости пленки в приемнике 11 происходит вместе с декодированием приходящего потока видеосигнала от передатчика 10, расположенного до выхода потока декодированного видеосигнала. Заметим, что процесс декодирования, происходящий в приемнике 11, никак не использует изображения с добавленной зернистостью пленки. Имитация зернистости пленки составляет, скорее, способ последующей обработки для включения имитированной зернистости пленки в декодированные изображения для вывода на экран. По этой причине стандарт сжатия видеосигнала ITU-T Rec. H.264 | ISO/IEC 14496-10 не содержит технических требований в отношении процесса имитации зернистости пленки. Однако имитация зернистости пленки требует информации, касающейся структуры зернистости в приходящем видеосигнале, и такая информация при использовании стандарта ITU-T Rec. H.264 | ISO/IEC 14496-10 обычно передается в характеризующем структуру пленки сообщении дополнительной информации для улучшения (Supplemental Enhancement Information (SEI)), как указывается в приложении 1 (расширение диапазона точности воспроизведения) к этому стандарту сжатия.

Имитация зернистости пленки в соответствии с настоящими принципами производится с помощью набора предварительно вычисленных преобразованных коэффициентов. Другими словами, процесс имитации начинается с блока, обычно, хотя и не обязательно, размером N×N, коэффициенты которого преобразованы до процесса имитации, обычно, но не обязательно, используя дискретное косинусное преобразование. Возможны и другие преобразования. Реализация способа имитации согласно представленным принципам с точностью до бита производится путем выполнения целочисленного обратного преобразования на блоке предварительно вычисленных значений.

Способ имитации зернистости пленки согласно представленным принципам, когда сравнивается с ранее изобретенными способами, представляет интересный компромисс между сложностью и требованиями к запоминающему устройству. С одной стороны, настоящий способ снижает сложность подходов, основанных на преобразовании, позволяя избежать вычисления прямого преобразования. С другой стороны, способ снижает требования к запоминающему устройству для подходов, основанных на базах данных, путем запоминания преобразованных коэффициентов вместо структур зернистости пленки. Предложенный способ может применяться к системам HD DVD, системам BD ROM, а также к спутниковому вещанию, и это всего лишь несколько примеров.

На фиг. 2 в форме блок-схемы показаны этапы способа, соответствующего настоящим принципам для имитации зернистости пленки, используя предварительно вычисленные коэффициенты. Способ, показанный на фиг. 2, начинается с выполнения этапа запуска 100, во время которого обычно происходит инициализация, хотя такая инициализация не обязательна. После этого выполняется этап 102, во время которого блок предварительно вычисленных преобразованных коэффициентов, обычно, хотя и не обязательно, размером N×N, считывается из запоминающего устройства 103. Существует много способов создания набора предварительно вычисленных коэффициентов в запоминающем устройстве 103, показанном на фиг. 2. Например, преобразованные коэффициенты могут быть предварительно вычислены, используя дискретное косинусное преобразование (DCT) для набора случайных значений, как подробно описано со ссылкой на фиг. 3 и 4. Существуют и другие методы и средства для вычисления набора преобразованных коэффициентов до имитации зернистости пленки. Преобразованные коэффициенты затем на этапе 105 подвергаются частотной фильтрации, используя предварительно определенный набор частот среза f_HL, f_VL, f_HH и f_VH, которые представляют частоты среза (в двух измерениях) фильтра, который характеризует желаемую структуру зернистости пленки. Во время этапа 106 блок преобразованных коэффициентов, отфильтрованных по частоте, подвергается обратному преобразованию, обычно, хотя и не обязательно, обратному дискретному косинусному преобразованию (IDCT), чтобы получить в результате блок зернистости пленки перед тем, как процесс будет закончен на этапе 108. При некоторых обстоятельствах до окончания процесса после этапа 106 может быть полезно масштабирование обратно преобразованного блока коэффициентов.

На фиг. 3 в форме блок-схемы последовательности операций показан способ имитации структуры зернистости пленки, используя предварительно вычисленные коэффициенты DCT одиночного изображения случайного гауссового шума. Способ, показанный на фиг. 3, начинается с выполнения этапа запуска 300, во время которого обычно происходит инициализация, хотя такая инициализация не обязательна. После этого выполняется этап 202, на котором блок предварительно вычисленных преобразованных коэффициентов, обычно, хотя и не обязательно, размером N×N, считывается из запоминающего устройства 203. Блок коэффициентов, считанных из запоминающего устройства 203 на этапе 202, обычно создается путем применения DCT-преобразования к изображению размером N×N гауссовых случайных значений.

Вслед за этапом 202 выполняется этап 204, инициирующий вхождение в цикл, который повторяется для всех возможных размеров и форм зернистости пленки. После входа в цикл преобразованные коэффициенты затем на этапе 205 подвергаются частотной фильтрации, используя предварительно определенный набор частот среза

f_HL, f_VL, f_HH и f_VH, которые представляют частоты среза (в двух измерениях) фильтра, который характеризует желаемую структуру зернистости пленки. Далее происходит следующий этап 206, на котором отфильтрованный по частоте блок преобразованных коэффициентов подвергается обратному преобразованию, обычно, хотя и не обязательно, обратному дискретному косинусному треобразованию (IDCT), для получения в результате блока зернистости пленки. При некоторых обстоятельствах вслед или перед этапом 206 должно быть полезно масштабирование обратно преобразованного блока коэффициентов.

После этого блок зернистости пленки, являющийся результатом обратного преобразования, выполненного во время этапа 206 (или после масштабирования, если такое масштабирование происходит), во время этапа 208 запоминается в базе данных 209. Цикл, инициированный во время этапа 204, повторяется (то есть повторяются этапы 205 и 206) для всех возможных размеров и форм зернистости пленки, после чего выполнение циклов прекращается во время этапа 210, после которого во время этапа 212 завершается способ. Как можно понять на основе приведенного выше описания, одиночное изображение гауссовых случайных значений, считанных из запоминающего устройства 203 во время этапа 202, показанного на фиг. 3, служит в качестве основного ядра для каждой из структур зернистости пленки, хранящейся в базе данных 210.

На фиг. 4 в форме блок-схемы последовательности операций показан способ имитации структуры зернистости пленки, используя предварительно вычисленные коэффициенты DCT многочисленных изображений случайного гауссового шума.

Способ, показанный на фиг. 4, начинается с выполнения этапа запуска 300, во время которого обычно происходит инициализация, хотя такая инициализация не обязательна. Следующим выполняется этап 301, на котором инициируется вхождение в цикл, который повторяется для всех возможных размеров и форм зернистости пленки. После вхождения в цикл выполняется этап 302, на котором блок предварительно вычисленных преобразованных коэффициентов, обычно, хотя и не обязательно, размером N×N, считывается из запоминающего устройства 303. Блок коэффициентов, считанных из запоминающего устройства 303 на этапе 302, обычно содержит базу данных DCT-преобразований изображений размером N×N гауссовых случайных значений.

После этапа 302 выполняется этап 305, и изображение размером N×N DCT-коэффициентов, считанное из запоминающего устройства 303, подвергается частотной фильтрации, используя предварительно определенный набор частот среза

f_HL, f_VL, f_HH и f_VH, представляющий частоты среза (в двух измерениях) фильтра, который характеризует желаемую структуру зернистости. Далее выполняется следующий этап 306, на котором отфильтрованный по частоте блок преобразованных коэффициентов подвергается обратному преобразованию, обычно, хотя и не обязательно, обратному дискретному косинусному преобразованию (IDCT), для получения в результате блока зернистости пленки. При некоторых обстоятельствах вслед за этапом 306 должно быть полезно масштабирование обратно преобразованного блока коэффициентов.

После этого выполняется этап 308, и блок зернистости пленки, являющийся результатом выполненного обратного преобразования (и масштабирования, если оно выполняется), во время этапа 308 запоминается в базе данных 309.

Цикл, инициированный во время этапа 301, повторяется (то есть повторяются этапы 302-308) для всех возможных размеров и форм зернистости пленки, после чего выполнение циклов прекращается на этапе 310, после которого способ прекращается на этапе 312. В отличие от способа, показанного на фиг. 3, который использует одиночное DCT-изображение гауссовых случайных величин для всех возможных форм и размеров зернистости пленки, способ, показанный на фиг. 4, использует отдельное DCT-изображение для каждой формы и размера различных зернистостей пленки. Оба способа позволяют создать базу данных значений зернистости пленки после инициализации системы или сброса в исходное состояние для запоминания ее в традиционном запоминающем устройстве, таком как статическое запоминающее устройство с произвольной выборкой (SRAM).

Вышеуказанное обеспечивает способ имитации зернистости пленки, используя предварительно вычисленные преобразованные коэффициенты, тем самым снижая сложность.

Изобретение относится к способам имитации зернистости пленки в изображении. Техническим результатом является снижение сложности имитации зернистости пленки в изображении. Указанный результат достигается тем, что имитация зернистости пленки внутри приемника происходит за счет получения сначала, по меньшей мере, одного блока предварительно вычисленных преобразованных коэффициентов. Блок предварительно вычисленных преобразованных коэффициентов подвергается фильтрации, соответствующей частотному диапазону, который характеризует желаемую структуру зернистости пленки. На практике, диапазон частот лежит в пределах набора частот среза f_HL, f_VL, f_HH и f_VH фильтра в двух измерениях, который характеризует желаемую структуру зернистости пленки. После этого отфильтрованный набор коэффициентов подвергается обратному преобразованию для получения структуры зернистости пленки. 3 н. и 13 з.п. ф-лы, 4 ил.

1. Способ формирования блока зернистости пленки, состоящий из этапов, на которых: (а) получают предварительно вычисленный блок преобразованных коэффициентов; (b) фильтруют по частоте преобразованные коэффициенты, соответствующие диапазону частот, который характеризует желаемую структуру зернистости пленки; и (с) осуществляют обратное преобразование фильтрованных по частоте преобразованных коэффициентов.

2. Способ по п.1, в котором этап получения предварительно вычисленного блока преобразованных коэффициентов дополнительно содержит этап, на котором из запоминающего устройства считывают, по меньшей мере, один предварительно вычисленный блок преобразованных коэффициентов.

3. Способ по п.1, в котором этап частотной фильтрации дополнительно содержит этап, на котором фильтруют преобразованные коэффициенты в соответствии с набором частот среза f_HL, f_VL, f_HH и f_VH двумерного фильтра, который характеризует желаемую структуру зернистости пленки.

4. Способ по п.1, в котором этап, на котором осуществляют обратное преобразование коэффициентов, дополнительно содержит этап, на котором осуществляют обратное дискретное косинусное преобразование.

5. Способ по п.1, дополнительно содержащий этап, на котором масштабируют обратно преобразованный блок коэффициентов.

6. Способ по п.1, в котором этапы (b) и (с) повторяются для всех возможных размеров и форм зернистости пленки для получения множества структур зернистости пленки, которые все выводятся из одного предварительно вычисленного блока преобразованных коэффициентов.

7. Способ по п.1, в котором этапы (а), (b) и (c) повторяются для всех возможных размеров и форм зернистости пленки для получения множества структур зернистости пленки, каждая из которых выводится из отдельного предварительно вычисленного блока преобразованных коэффициентов.

8. Способ по п.6, дополнительно содержащий этап, на котором запоминают каждый обратно преобразованный набор отфильтрованных коэффициентов в запоминающем устройстве после каждого повторного выполнения этапа (с).

9. Способ по п.7, дополнительно содержащий этап, на котором запоминают каждый обратно преобразованный набор отфильтрованных коэффициентов в запоминающем устройстве после каждого повторного выполнения этапа (с).

10. Способ по п.1, дополнительно содержащий этап, на котором масштабируют обратно преобразованный набор отфильтрованных коэффициентов перед тем, как коэффициенты подвергаются обратному преобразованию.

11. Устройство для имитации зернистости пленки, содержащее первое запоминающее устройство для хранения, по меньшей мере, одного предварительно вычисленного блока преобразованных коэффициентов; по меньшей мере, одно из запрограммированного процессора и специализированной логической схемы для имитации зернистости пленки посредством (а) получения предварительно вычисленного блока преобразованных коэффициентов из запоминающего устройства; (b) частотной фильтрации преобразованных коэффициентов, соответствующих частотному диапазону, характеризующему желаемую структуру зернистости пленки; и (с) осуществления обратного преобразования частотно-отфильтрованных преобразованных коэффициентов.

12. Устройство по п.11, в котором, по меньшей мере, одно из запрограммированного процессора и специализированной логической схемы дополнительно масштабирует обратно преобразованные частотно-отфильтрованные преобразованные коэффициенты.

13. Устройство по п.11, дополнительно содержащее второе запоминающее устройство для хранения обратно преобразованных частотно-отфильтрованных преобразованных коэффициентов.

14. Устройство для имитации зернистости пленки, содержащее первое запоминающее устройство для хранения, по меньшей мере, одного предварительно вычисленного блока преобразованных коэффициентов; средство для получения предварительно вычисленного блока преобразованных коэффициентов из запоминающего устройства; средство для частотной фильтрации преобразованных коэффициентов, соответствующих диапазону частот, который характеризует желаемую структуру зернистости пленки; и средство для осуществления обратного преобразования отфильтрованных по частоте преобразованных коэффициентов.

15. Устройство по п.14, дополнительно содержащее средство масштабирования обратно преобразованных частотно отфильтрованных преобразованных коэффициентов.

16. Устройство по п.14, дополнительно содержащее второе запоминающее устройство для запоминания обратно преобразованных частотно-отфильтрованных преобразованных коэффициентов.