УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройству обработки изображений, выполненному с возможностью обеспечения на цифровых видеоданных эффектов, подобных пленке.
ОПИСАНИЕ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ
В последние годы в качестве способа представления изображений для цифровых фотокамер был предложен способ наложения на захваченное изображение эффектов зерен, подобных пленке, путем объединения шума в виде зерен с цифровым изображением. В опубликованной заявке на патент Японии № 11-085955 рассматривается методика расчета из пленки данных рисунка зерен (исходного шума в виде зерен), вырезания из данных рисунка зерен в случайных положениях множества частей данных шума и размещения множества частей данных шума, накладывая таким образом шум в виде зерен.
Однако, когда пленка воспроизводится на кинопроекторе, у пленочного изображения есть не только описанный выше шум в виде зерен, затрагивающий все изображение, но также и различные феномены.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Настоящее изобретение направлено на устройство обработки изображений, выполненное с возможностью наложения на захваченное изображение двух типов шума с разными характеристиками.
По одному аспекту настоящего изобретения устройство обработки изображений, выполненное с возможностью наложения на входные изображения множества кадров эффекта шума, включает в себя первый запоминающий блок, выполненный с возможностью хранения сформированных двумерных данных первого шума, блок вырезания, выполненный с возможностью вырезания из первого шума, первый задающий блок, выполненный с возможностью указания положения вырезания на данных первого шума для вырезания блоком вырезания, первый блок объединения, выполненный с возможностью объединения данных шума, вырезанных блоком вырезания, с входным изображением, второй запоминающий блок, выполненный с возможностью хранения данных второго шума, отличных от данных первого шума, содержащих в себе данные шума из множества рисунков, блок выбора, выполненный с возможностью выбора из данных второго шума данных шума для вставки на изображение текущего кадра, второй задающий блок, выполненный с возможностью указания положения вставки на изображении текущего кадра для вставки данных шума, выбранных блоком выбора, и второй блок объединения, выполненный с возможностью объединения данных шума, выбранных блоком выбора, в положении, указанном задающим блоком, где первый задающий блок указывает на основе случайного значения положение вырезания в данных первых шума и где второй задающий блок указывает на основе случайного значения положение вставки для вставки данных шума, выбранных блоком выбора.
Дополнительные признаки и аспекты настоящего изобретения станут очевидны из нижеследующего подробного описания примерных вариантов осуществления со ссылкой на прилагаемые чертежи.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Прилагаемые чертежи, которые включены в и составляют часть спецификации, иллюстрируют примерные варианты осуществления, признаки и аспекты изобретения и вместе с описанием служат для объяснения принципов изобретения.
Фиг.1 - блок-схема, иллюстрирующая пример устройства обработки изображений согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.2 - блок-схема, иллюстрирующая пример устройства обработки изображений согласно второму примерному варианту осуществления настоящего изобретения.
Фиг.3 иллюстрирует данные шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.4 иллюстрирует структуру объединенного изображения из захваченного изображения и шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.5 иллюстрирует данные шума в виде царапин согласно второму примерному варианту осуществления настоящего изобретения.
Фиг.6 иллюстрирует структуру объединенного изображения из захваченного изображения и данных шума в виде царапин согласно второму примерному варианту осуществления настоящего изобретения.
Фиг.7 блок-схема последовательности операций способа, иллюстрирующая обработку для определения положения вырезания из данных шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.8 иллюстрирует положение вырезания из данных шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.9 - таблица, иллюстрирующая скорректированное положение вырезания из данных шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.10 иллюстрирует степень повторения, обусловленную разницей между скорректированными положениями данных шума в виде зерен согласно первому примерному варианту осуществления настоящего изобретения.
Фиг.11 (включая 11A и 11B) - блок-схема последовательности операций способа, иллюстрирующая обработку для определения положения вставки данных шума в виде царапин согласно второму примерному варианту осуществления настоящего изобретения.
Фиг.12 иллюстрирует необходимое временное изменение в наложении царапин согласно второму примерному варианту осуществления настоящего изобретения.
Фиг.13 - блок-схема, иллюстрирующая устройство обработки изображений согласно третьему примерному варианту осуществления настоящего изобретения.
Фиг.14 иллюстрирует кадровую память и вырезание изображения из нее согласно третьему примерному варианту осуществления и изображение по настоящему изобретению.
Фиг.15 иллюстрирует обработку для скрытия шума вследствие вырезания изображения согласно третьему примерному варианту осуществления настоящего изобретения.
Фиг.16 - блок-схема последовательности операций способа, иллюстрирующая обработку для применения обработки по вертикальному дрожанию согласно третьему примерному варианту осуществления настоящего изобретения.
Фиг.17 иллюстрирует множество типов дрожания и их объединение, используемых для обработки по вертикальному дрожанию согласно третьему примерному варианту осуществления настоящего изобретения.
Фиг.18A и 18B - блок-схемы, где каждая иллюстрирует пример устройства обработки изображений согласно четвертому примерному варианту осуществления настоящего изобретения.
Фиг.19 иллюстрирует обработку для корректирования сигнала яркости для достижения мерцания согласно четвертому примерному варианту осуществления настоящего изобретения.
Фиг.20 - блок-схема последовательности операций способа, иллюстрирующая обработку для корректирования сигнала яркости согласно четвертому примерному варианту осуществления настоящего изобретения.
Фиг.21A и 21B - блок-схемы, иллюстрирующие пример устройства обработки изображений согласно пятому примерному варианту осуществления настоящего изобретения.
Фиг.22 - блок-схема последовательности операций способа, иллюстрирующая обработку для наложения множества подобных пленке эффектов согласно пятому примерному варианту осуществления настоящего изобретения.
Фиг.23 - блок-схема, иллюстрирующая пример устройства обработки изображений согласно шестому примерному варианту осуществления настоящего изобретения.
На Фиг.24 описаны процессы от записи до воспроизведения в захватывании движущихся изображений с использование в качестве носителя записи пленки согласно шестому примерному варианту осуществления настоящего изобретения.
Фиг.25 - таблица, иллюстрирующая события, влияющие на результат показа, эффекты событий и способы достижения эффектов посредством обработки изображений на основе имитации в каждом из процессов, проиллюстрированных на Фиг.24.
Фиг.26 - блок-схема последовательности операций способа, иллюстрирующая обработку для наложения множества подобных пленке эффектов согласно шестому примерному варианту осуществления настоящего изобретения.
Фиг.27 - блок-схема, иллюстрирующая пример устройства обработки изображений согласно другим примерным вариантам осуществления настоящего изобретения.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Ниже со ссылкой на чертежи будут подробно описаны различные примерные варианты осуществления, признаки и аспекты изобретения.
Первый примерный вариант осуществления будет описан ниже на основе устройства обработки изображений, выполненного с возможностью наложения на захваченное изображение шума в виде зерен для обеспечения эффекта зерен в качестве эффекта шума, подобного пленке. Фиг.1 - блок-схема, иллюстрирующая цифровую видеокамеру в качестве устройства обработки изображений согласно первому примерному варианту осуществления.
Датчик 100 изображения применяет к формирующему изображение падающему свету фотоэлектрическое преобразование. Преобразованный фотоэлектрическим образом сигнал вводится в блок 101 обработки сигналов камеры. Блок 101 обработки сигналов фотокамеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения, чтобы преобразовывать его в видеосигнал, и выводит видеосигнал блоку 111 кодирования. Блок 111 кодирования кодирует видеосигнал, полученный из блока 101 обработки сигналов камеры, в заданный формат записи и записывает результирующий видеосигнал на носитель 112 записи.
Обработка сигнала в блоке 101 обработки сигналов камеры будет описана ниже. Когда сигнал вводится в блок 101 обработки сигналов фотокамеры, блок 104 обработки изображений применяет к сигналу различные типы обработки сигнала. Различные типы обработки сигнала включают в себя обработку баланса белого, обработку коэффициента контраста, обработку по преобразованию цветового пространства, обработку по усилению цветов, обработку цветового баланса, применяемые к данным изображения во время обычного захвата изображения. Блок 104 обработки изображений сохраняет обработанный сигнал в первую кадровую память 108 как захваченное изображение.
Память 109 хранит двумерные данные 301 шума, как, например, шум в виде зерен. Блок 106 обработки вырезания считывает из памяти 109 данные 301 шума и вырезает из данных 301 шума данные 302 шума, имеющие заранее определенное положение и размер.
Затем блок 106 обработки вырезания сохраняет вырезанные данные 302 шума во второй кадровой памяти 110. Блок 107 обработки увеличения считывает данные 302 шума из второй кадровой памяти 110 и применяет к данным 302 шума обработку по изменению размера для получения данных 402 шума, имеющих требуемый для объединения с захваченным изображением размер.
Блок 105 обработки объединения считывает в заранее определенные моменты времени захваченное изображение 401 из первой кадровой памяти 108 и данные 402 шума из блока 107 обработки увеличения, объединяет захваченное изображение 401 с данными 402 шума и выводит объединенное изображение. Блок 105 обработки объединения может менять отношение объединения данных 402 шума к захваченному изображению 401. Изменяя отношение объединения, блок 105 обработки объединения может менять интенсивность шума в виде зерен, который должен быть наложен на захваченное изображение 401. Способ генерирования шума в виде зерен и способ наложения шума в виде зерен будут подробно описаны ниже.
Генератор (SG) 103 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 100 изображения и подает сгенерированный сигнал датчику 100 изображения.
Системный контроллер 102 управляет узлом камеры, включающим в себя датчик 100 изображения и блок 101 обработки сигналов камеры. Системный контроллер 102 подает датчику 100 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов. Системный контроллер 102 устанавливает для блока 104 обработки изображений параметры, требуемые для установки качества изображения в различных типах обработки сигнала. Системный контроллер 102 подает блоку 105 обработки объединения команду для указания кадровой памяти, которая должна быть объединена, команду для указания отношения объединения и команду о распределении объединения во времени.
Системный контроллер 102 подает блоку 106 обработки вырезания команду о распределении во времени считывания из памяти 109, команду о положении вырезания и размере и команду о распределении во времени сохранения вырезанных данных во второй кадровой памяти 110.
Системный контроллер 102 подает блоку 107 обработки увеличения команду о распределении во времени считывания из второй кадровой памяти 110 и команду о размере для изменения размера. Системный контроллер 102 подает генератору 103 сигналов команду о распределении во времени приведения в действие датчика 100 изображений.
Способ генерирования шума в виде зерен для придания данным изображения эффекта зерен, подобного пленке (характеристическая обработка настоящего примерного варианта осуществления), и способ наложения шума в виде зерен на данные изображения будут подробно описаны ниже со ссылкой на Фиг.3 и 4.
Для размещения данных рисунка зерен синхронно с интервалом обновления движущегося изображения, т.е. частотой кадров, методика размещения множества частей данных рисунка зерен, рассмотренная в опубликованной заявке на патент Японии № 11-085955, требует высокоскоростной системы обработки, способной размещать данные рисунка в пределах периода частоты смены кадров каждый раз по-разному. В способе выбора из множества рисунков шума в виде зерен и применения его к данным изображения требуется множество областей памяти для хранения шума в виде зерен.
Соответственно, в настоящем примерном варианте осуществления шум в виде зерен предварительно запоминается в форме двумерных данных, в любом положении вырезаются данные шума, соответствующие целому кадру вводимого изображения, и вырезанные данные шума объединяются с движущимся изображением.
В этом случае синхронизация распределения во времени вырезания с частотой кадров движущегося изображения и изменение каждый раз положения вырезания для множества кадров позволяют объединять случайный во временном и пространственном отношении шум в виде зерен с движущимся изображением.
Фиг.3 иллюстрирует связь между двухмерными данными шума (данные 301 шума в виде зерен) и данными 302 вырезания шума, которые должны быть вырезаны из них. Фиг.4 иллюстрирует концепцию объединения данных 302 вырезания шума и захваченного изображения.
Данные 301 шума в виде зерен представляют собой группу пикселей, где каждый в качестве значения пикселя имеет записанное случайное число в соответствии с гауссовым распределением. В настоящем примерном варианте осуществления минимальной единицей зерна является один пиксель. Случайное число не ограничено случайными числами в соответствии с гауссовым распределением или любым другим конкретным типом случайных чисел и может быть единообразным случайным числом, экспоненциальным случайным числом и многими другими типами случайных чисел.
Форма фактических данных шума не ограничена конкретными формами и может быть данными изображения, последовательностью данных и многими другими типами. Хотя минимальная единица зерна не ограничена одним пикселем, более мелкая единица, естественно, приводит к большей степени рандомизации.
Системный контроллер 102 случайный образом определяет начальное положение (X, Y) вырезания из данных 301 шума в виде зерен путем использования динамических значений, обеспечиваемых фотокамерой, таких как время обработки и информации о состоянии и положении фотокамеры. Системный контроллер 102 вырезает в качестве данных 302 вырезания шума из определенного начального положения вырезания в данных 301 шума в виде зерен данные заранее установленного размера и объединяет данные 302 вырезания шума с захваченным изображением, как проиллюстрировано на Фиг.4, накладывая таким образом шум в виде зерен на захваченное изображение.
При изменении каждый раз случайным образом начального положения вырезания, если положения последнего и текущего вырезания находятся близко друг к другу или смещены только в горизонтальном или вертикальном направлении, двухмерный рисунок в результате объединения выглядит движущимся.
Поэтому в настоящем примерном варианте осуществления системный контроллер 102 устанавливает положение текущего вырезания таким образом, чтобы величина перемещения от положения последнего вырезания к положению текущего вырезания не попадала в заранее определенный диапазон.
Системный контроллер 102 подает команду блоку 106 обработки вырезания применять к данным 301 шума контроль вырезания. Контроль вырезания согласно настоящему примерному варианту осуществления будет описан ниже со ссылкой на Фиг.7. Описанный выше контроль вырезания выполняется в режиме захвата изображения, в которой на захваченное изображение накладывается эффект шума, подобный пленке. Как вариант, контроль вырезания выполняется в качестве постобработки после очередного считывания движущегося изображения из памяти, такой как носитель 212 записи.
На этапе S701 системный контроллер 102, используя описанные выше динамические значения из данных шума, хранимых в памяти 109, вычисляет потенциально возможное положение, из которого в этот раз должно начаться вырезание (именуемое в дальнейшем как начальное положение текущего вырезания или положение текущего вырезания). Для объединения вырезанных данных, как, например, шума в виде зерен, системный контроллер 102 каждый раз случайным образом определяет положение текущего вырезания, отличное от положения последнего вырезания. После определения положения текущего вырезания, которое должно быть указано, обработка переходит к этапу S702.
На этапе S702 системный контроллер 102 получает информацию о частоте кадров датчика 100 текущего изображения, основываясь на сигнале распределения во времени приведения в действие, который должен быть указан генератору 103 сигнала. После получения информации о частоте кадров обработка переходит к этапу S703.
На этапе S703 системный контроллер 102 вычисляет критерий для определения того, насколько далеко указанное в текущий момент положение вырезания (именуемое в дальнейшем как положение текущего вырезания) находится от положения последнего вырезания, хранимого во временной памяти (не проиллюстрировано).
Системный контроллер 102 обновляет шум в виде зерен, который должен быть объединен синхронно с частой кадров. Поэтому чем меньше частота кадров, т.е. чем длиннее интервал обновления захваченного изображения, тем дольше становится интервал обновления шума в виде зерен, т.е. тем дольше шум в виде зерен остается видимым. Следовательно, когда положения последнего и текущего вырезания находятся близко друг к другу, объединенный шум в виде зерен выглядит движущимся.
Системный контроллер 102 изменяет в соответствии с информацией о частоте кадров, полученной на этапе S702, критерий (заранее определенное значение) для определения того, насколько близко положение текущего вырезания находится от положения последнего вырезания. Например, для частоты кадров 60 кадр/с (первая частота кадров), если положение текущего вырезания находится в пределах 10 пикселей (первое заранее определенное значение) вокруг положения последнего вырезания, то определяют, что текущее положение находится рядом с последним положением.
С другой стороны, для частоты кадров 30 кадр/с (вторая частота кадров) системный контроллер 102 определяет критерий таким образом, что если положение текущего вырезания находится в пределах 20 пикселей (второе заранее определенное значение) вокруг положения последнего вырезания, то определяют, что текущее положение находятся рядом с последним положением (расстояние между ними равно или меньше заранее определенного значения). После определения критерия обработка переходит к этапу S704.
На этапе S704 системный контроллер 102 вычисляет расстояние (величину изменения) на шуме в виде зерен между положением последнего вырезания из данных шума и положением текущего вырезания из них, вычисленным на этапе S701. После вычисления расстояния обработка переходит к этапу S705.
На этапе S705 системный контроллер 102 сравнивает расстояние, вычисленное на этапе S704, между положением последнего вырезания и положением текущего вырезания с критерием, вычисленным на этапе S703. Если расстояние больше критерия (ДА на этапе S705), т.е. если системный контроллер 102 определяет, что положение вырезания сильно изменилось касательно положения последнего вырезания, обработка переходит к этапу S707. С другой стороны, если расстояние меньше критерия (НЕТ на этапе S705), т.е. если системный контроллер 102 определяет, что положение вырезания незначительно изменилось касательно положения последнего вырезания, обработка переходит к этапу S706.
На этапе S706 системный контроллер 102 корректирует информацию о положении указанного в текущий момент положения вырезания, вычисленного на этапе S701. Способ корректирования информации о положении положения вырезания будет описан ниже. После корректировки информации о положении вырезания обработка переходит к этапу S707.
На этапе S707 системный контроллер 102 сохраняет во временной памяти информацию о положении положения вырезания, скорректированного на этапе S706, для использования в следующем контроле положения вырезания и обработка переходит к этапу S708. На этапе S708 системный контроллер 102 указывает блоку 106 обработки вырезания положение вырезания, скорректированное на этапе S706, и обработка заканчивается.
Обработка для корректирования положения вырезания на этапе S706 будет описана ниже. Фиг.8, 9 и 10 иллюстрируют условия корректировки и корректирующие положения при корректировке положения вырезания данных 301 шума, хранимых в памяти 103.
Данные 301 шума имеют ширину W пикселей и высоту H пикселей (W≥4, H≥4). Вырезание данных 301 шума будет выполнено на основе пикселей, используя верхнее левой положение в качестве начала (0, 0) положения вырезания. Данные 302 шума вырезания, которые должны быть вырезаны, имеют ширину (W/2) пикселя и высоту (H/2) пикселя.
Например, как проиллюстрировано на Фиг.3, если (X, Y) - положение текущего вырезания, начальное положение вырезания (X, Y) для начала вырезания данных 302 шума вырезания описанного выше размера может быть указано в пределах диапазона (0≤X<W/2, 0≤Y<Y/2) (Фиг.8).
Этот диапазон, в пределах которого может быть указано начальное положение вырезания, разделен на четыре области 1, 2, 3 и 4, проиллюстрированные на Фиг.8. Область 1 имеет начальное положение вырезания в пределах диапазона (0≤X<W/4, 0≤Y<H/4). Область 2 имеет начальное положение вырезания в пределах диапазона (W/4≤X<W/2, 0≤Y<H/4). Область 3 имеет начальное положение вырезания в пределах диапазона (0≤X<W/4, H/4≤Y<H/2). Область 4 имеет начальное положение вырезания в пределах диапазона (W/4≤X<W/2, H/4≤Y<H/2).
При корректировании положения вырезания желательно, чтобы между данными шума, вырезанными из положения последнего вырезания, и данными шума, вырезанными из положения текущего вырезания, была небольшая перекрывающаяся область и чтобы два положения были разделены. Это состояние улучшит степень рандомизации во время объединения.
При контроле корректировки системный контроллер 102 определяет, где в областях 1-4 находится положение текущего вырезания, и корректирует положение текущего вырезания до положения в диагональной области относительно определенной области. В этом случае, как проиллюстрировано на Фиг.9, системный контроллер 102 корректирует начальное положение (X, Y) вырезания до скорректированного положения (X', Y') вырезания.
Например, если положение текущего вырезания находится в области 1, перемещение положения текущего вырезания в область 4 (данные 1003 шума на Фиг.10) обеспечивает меньшую перекрывающуюся область вырезанных данных шума, чем перемещение его в области 2 и 3 (данные 1001 и 1002 шума на Фиг.10 соответственно). Это не дает движению данных шума быть легко заметным, повышая временную степень рандомизации шума в виде зерен.
Как описано выше, в первом примерном варианте осуществления системный контроллер 102 вырезает случайным образом диапазон двухмерных данных шума и объединяет вырезанные данные шума с захваченным изображением каждый раз, когда захваченное изображение обновляется. Это метод делает возможным наложение шума в виде зерен даже на движущееся изображение.
Даже если определенное случайным образом положение вырезания находится близко к положению последнего вырезания, т.е. в пределах заранее определенного диапазона, описанный выше способ корректирует определенное положение вырезания до положения вне заранее определенного диапазона, обеспечивая определенную степень рандомизации шума. Настоящий примерный вариант осуществления делает возможным генерирование данных шума просто путем вырезания части данных заранее определенного размера из уже считанных данных, обеспечивая более короткий промежуток времени, требуемый для генерирования данных шума, чем методика, рассматриваемая в опубликованной заявке на патент Японии № 11-085955.
Кроме этого настоящий примерный вариант осуществления сравнивает положение текущего вырезания с положением последнего вырезания и, если разница между двумя положениями невелика, т.е. два положения находятся близко друг к другу, изменяет положение текущего вырезания, чтобы не давать вырезанным данным шума выглядеть движущимися, повышая таким образом степень рандомизации шума.
В настоящем примерном варианте осуществления данные 301 шума в виде зерен имеют ширину W пикселей и высоту H пикселей, а данные шума вырезания имеют ширину W/2 пикселей и высоту H/2 пикселей. Однако размер данных шума вырезания для данных шума в виде зерен этим не ограничен и может быть больше или меньше, чем в настоящем примерном варианте осуществления, пока он не превышает размера данных шума в виде зерен.
Тем не менее, увеличение размера данных шума вырезания может снижать степень рандомизации. С другой стороны, уменьшение его размера может увеличивать отношение размера данных 301 шума в виде зерен к размеру требуемых данных шума вырезания и потреблять больше пропускной способности памяти.
Соответственно, в настоящем примерном варианте осуществления отношение размера данных 301 шума в виде зерен к размеру данных шума вырезания установлено около четырех и контроль выполняется таким образом, чтобы начальные положения последнего и текущего вырезания не становились расположенными близко друг к другу, обеспечивая предпочтительно таким образом определенную степень рандомизации шума и сохраняя пропускную способность памяти.
Несмотря на то, что в настоящем примерном варианте осуществления диапазон, в пределах которого может быть указано начальное положение вырезания, разделен на четыре области, количество и назначение областей деления этим не ограничивается.
В настоящем примерном варианте осуществления, когда системный контроллер 102 определяет, что расстояние между положениями текущего и последнего вырезания равно или меньше заранее определенного значения, системный контроллер 102 корректирует область, включающую в себя описанное выше начальное положение вырезания, на другие области. Тем не менее, способ корректирования начального положения вырезания этим не ограничивается. Начальное положение вырезания может быть перемещено таким образом, чтобы расстояние между положениями текущего и последнего вырезания становилось больше заранее определенного значения.
Конкретнее, если заранее определенное значение составляет 10 пикселей вокруг положения последнего вырезания при частоте кадров 60 кадр/с, положение текущего вырезания (координата) может быть изменено на 11 или более пикселей вокруг него. Как вариант координаты менее 10 пикселей вокруг положения последнего вырезания могут быть исключены из потенциальных вариантов и положение текущего вырезания может указываться случайным образом.
В настоящем примерном варианте осуществления, когда системный контроллер 102 определяет, что расстояние между положениями текущего и последнего вырезания равно или меньше заранее определенного значения, системный контроллер 102 корректирует область, включающую в себя описанное выше начальное положение вырезания, на другие области. Тем не менее, способ корректирования начального положения вырезания этим не ограничивается. Возможно определять, к каким из областей 1, 2, 3 и 4 на фиг.8 принадлежат положения текущего и последнего вырезания, и, если они принадлежат к одной и той же области, перемещать положение текущего вырезания в другую область.
В этом случае, как и в настоящем примерном варианте осуществления, желательно перемещать положение текущего вырезания в диагональную область, чтобы сводить к минимуму перекрывающуюся область между областями текущего и последнего вырезания. Кроме этого благодаря объединению этого способа определения со способом определения, равно или меньше расстояние между положениями текущего и последнего вырезания заранее определенного значения, можно выполнять эффективное определение, даже когда начальное положение вырезания находится в окрестности границы двух областей.
Ниже на основе устройства обработки изображений, выполненного с возможностью наложения царапин (вертикального линейного шума), для наложения на захваченное изображение подобного пленке эффекта царапин на пленке будет описан второй примерный вариант осуществления. На Фиг.5 и 6 описывается вырезание и объединение данных шума в виде царапин согласно настоящему примерному варианту осуществления.
Фиг.5 иллюстрирует данные 501 шума в виде царапин, содержащие царапины с множеством рисунков, и связь с данными 502 шума, которые должны быть вырезаны из него. Касательно данных 501 шума в виде царапин интенсивность определяется случайным числом, считая, что один пиксель является минимальной единицей в горизонтальном направлении, а царапины хранятся в вертикальном направлении.
Интенсивность меняется, принимая во внимание то, что множество пикселей является минимальной единицей в вертикальном направлении и, соответственно, плотность и толщина царапин изменяются в вертикальном направлении, представляя таким образом «выцветание» царапин. Случайное число может иметь гауссово распределение и многие другие типы, но конкретными типами не ограничено.
Фиг.6 иллюстрирует концепцию объединения вырезанных царапин и захваченного изображения. В настоящем примерном варианте осуществления системный контроллер 102 вырезает данные 502 шума вырезания из данных 501 шума в виде царапин, как проиллюстрировано на Фиг.5, и изменяет размер вырезанных данных 502 шума до заранее определенного размера изображения для генерирования данных 602 шума для вставки. Затем в соответствии с положением вставки данных 602 шума для последней вставки и продолжительностью времени вставки в этом положении системный контроллер 102 определяет положение вставки данных 602 шума для вставки и вставляет их в этом положении на захваченное изображение.
Фиг.2 - блок-схема, иллюстрирующая цифровую видеокамеру в качестве устройства обработки изображений согласно второму примерному варианту осуществления. Датчик 200 изображения выполняет фотоэлектрическое преобразование создающего изображение падающего света. Преобразованный фотоэлектрическим образом сигнал вводится в блок 201 обработки сигналов камеры.
Блок 201 обработки сигналов камеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения для преобразования его в видеосигнал и выводит видеосигнал блоку 211 кодирования. Блок 211 кодирования кодирует видеосигнал, принятый от блока 201 обработки сигналов камеры, в заранее определенный формат записи и записывает результирующий видеосигнал на носитель 212 записи.
Обработка сигнала в блоке 201 обработки сигналов камеры будет объяснена ниже. Когда сигнал вводится в блок 201 обработки сигналов камеры, блок 204 обработки изображений применяет аналогично первому примерному варианту осуществления к сигналу различные типы обработки сигнала. Блок 204 обработки изображений сохраняет обработанный сигнал в кадровую память 209 как захваченное изображение.
Память 210 хранит данные 501 шума в виде царапин, имеющие царапины с множеством рисунков. Блок 206 обработки вырезания считывает данные 501 шума из памяти 210.
Блок 206 обработки вырезания вырезает данные 502 шума в виде царапин, имеющие указанный размер и указанное положение, из данных 501 шума. Блок 207 обработки увеличения изменяет размер вырезанных данных 502 шума на размер данных 602 шума, требуемый для объединения с захваченным изображением 601. Блок 208 обработки вставки указывает положение вставки для объединения данных 602 шума с захваченным изображением 601 в любом положении, не зависящем от положения вырезания.
Блок 205 обработки объединения считывает в заранее определенные моменты времени захваченное изображение 601 из кадровой памяти 209 и данные 602 шума из блока 208 обработки вставки, объединяет захваченное изображение 601 с данными 602 шума и выводит объединенное изображение.
Генератор 203 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 200 изображения и подает сгенерированный сигнал датчику 200 изображения и системному контроллеру 202.
Системный контроллер 202 управляет камерным узлом, включающим в себя датчик 200 изображения и блок 201 обработки сигналов камеры. Системный контроллер 202 подает датчику 200 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов. Системный контроллер 202 устанавливает для блока 204 обработки изображений параметры, требуемые для установки качества изображения в различных типах обработки сигнала.
Системный контроллер 202 подает блоку 205 обработки объединения команду для указания кадровой памяти, которая должна быть объединена, команду для указания отношения объединения и команду о распределении объединения во времени. Для генерирования царапин системный контроллер 202 подает блоку 206 обработки вырезания команду о распределении во времени считывания из памяти 210 и команду о размере и положении вырезания.
Системный контроллер 202 подает блоку 207 обработки увеличения команду о размере для изменения размера. Системный контроллер 202 подает блоку 208 обработки увеличения команду о положении вставки для объединения. Системный контроллер 202 подает генератору 203 сигналов команду о распределении во времени приведения в действие датчика 200 изображения.
Системный контроллер 202 согласно настоящему примерному варианту осуществления подает команду блоку 208 обработки вставки применять к данным 602 шума для вставки контроль вставки. Контроль вставки будет описан ниже со ссылкой на Фиг.11 (в том числе 11A и 11B) и 12.
Описанный выше контроль вставки осуществляется в режиме захвата изображения, в котором выполняется обработка изображения для наложения на захваченное изображение эффекта царапин. Как вариант, контроль вставки также выполняется в качестве постобработки после очередного считывания движущегося изображения из памяти, такой как носитель 212 записи. Эта обработка начинается синхронно с сигналом кадровой синхронизации, и серия обработки повторяется сигналом кадровой синхронизации.
На этапе S1101 системный контроллер 202 определяет, достигло ли значение счетчика наложения (первый блок обнаружения), счетчика для измерения промежутка времени, в течение которого царапины, хранимые во временной памяти (не проиллюстрировано), накладываются на захваченное изображение, целевого времени наложения (первого заранее определенного промежутка времени). Если значение не достигло целевого времени наложения (НЕТ на этапе S1101), обработка переходит к этапу S1108.
Напротив, если значение достигло целевого времени наложения (ДА на этапе S1101), обработка переходит к этапу S1102. Целевое время наложения относится к промежутку времени, в течение которого идентичные царапины могут непрерывно отображаться на захваченном изображении. Целевое время наложения может определяться в зависимости от различных условий или пользователем. На этапе S1102 системный контроллер 202 устанавливает счетчик наложения, достигший целевого времени наложения, в нулевое состояние, и обработка переходит к этапу S1103.
На этапе S1103 системный контроллер 202 получает информацию о том, должны ли царапины, вырезанные из данных шума, хранимых в памяти 210, накладываться в это время (эта информация в дальнейшем именуется как информации о действительности/недействительности наложения). Например, для наложения царапин случайным образом системный контроллер 202 может произвольно получать в качестве информации о действительности/недействительности наложения значение из блока генерирования случайных чисел. После получения информации о действительности/недействительности наложения обработка переходит к этапу S1104.
На этапе S1104 системный контроллер 202 определяет, указывает ли информация о действительности/недействительности наложения, полученная на этапе S1103, наложение шума в виде царапин. Системный контроллер 202 сохраняет результат определения во временную память. Информация о действительности/недействительности наложения может задаваться бинарным значением. К примеру, если значение, полученное из блока генерирования случайных чисел, больше заранее определенного порогового значения, системный контроллер 202 определяет действительность наложения. С другой стороны, если значение равно или меньше порогового значения, системный контроллер 202 определяет недействительность наложения.
Касательно изменения во времени, исполнение обработки на этапе S1104 генерирует случайным образом для каждого заранее определенного кадра период с наложением и период без наложения, как проиллюстрировано на Фиг.12. В настоящем примерном варианте осуществления системный контроллер 202 определяет действительность или недействительность наложения для каждого кадра.
Когда системный контроллер 202 определяет действительность наложения (ДА на этапе S1104), обработка переходит к этапу S1105. Напротив, когда системный контроллер 202 определяет недействительность наложения (НЕТ на этапе S1104), обработка переходит к этапу S1121.
На этапе S1105 системный контроллер 202 определяет начальное положение вырезания, ширину и высоту данных 502 шума вырезания, которые должны быть вырезаны из данных 501 шума в виде царапин, хранимых в памяти 210.
Изменение этих значений меняет рисунки (длину, интенсивность, количество царапин и т.д.) царапин, которые должны быть наложены. Следовательно, чтобы вырезание каждый раз начиналось из другого положения, эти значения (начальное положение, ширина и высота) можно определять путем использования блока генерирования случайных чисел. После вычисления положения вырезания обработка переходит к этапу S1106.
На этапе S1106 системный контроллер 202 указывает блоку 206 обработки вырезания положение вырезания, определенное на этапе S1105, и обработка переходит к этапу S1107. На этапе S1107 системный контроллер 202 определяет целевое время наложения и сохраняет его во временную память, и обработка переходит к этапу S1108.
На этапе S1108 системный контроллер 202 увеличивает счетчик наложения, и обработка переходит к этапу S1109. На этапе S1109 для измерения истекшего времени с момента, когда определено, что наложение царапин из недействительного состояния стало действительным, системный контроллер 202 увеличивает счетчик продолжительности наложения (второй блок обнаружения), и обработка переходит к этапу S1110.
На этапе S1110 системный контроллер 202 определяет на захваченном в текущий момент изображение положение вставки, в котором должны быть вставлены данные шума, вырезанные блоком 206 обработки вырезания. Положение вставки определяется случайным образом в зависимости от распределения объединения во времени.
Например, если положение вставки получено с использованием блока генерирования случайных чисел, царапины накладываются на экран, когда делается объединение, каждый раз в другом положении, и результирующие данные выглядят как случайный шум. После получения положения вставки обработка переходит к этапу S1111.
На этапе S1111 системный контроллер 202 получает информацию о текущей частоте кадров для датчика 200 изображения, основываясь на сигнале распределения во времени приведения в действие, указанного генератору 203 сигналу. После получения информации о текущей частоте кадров обработка переходит к этапу S1112.
На этапе S1112 системный контроллер 202 вычисляет критерий (заранее определенное значение) для определения того, насколько далеко положение текущей вставки находится от положения последней вставки. Системный контроллер 202 обновляет царапины, которые должны быть объединены, синхронно с частой кадров. Поэтому чем меньше частота кадров, т.е. чем длиннее интервал обновления захваченного изображения, тем дольше становится интервал обновления шума в виде царапин, т.е. тем дольше шум в виде царапин остается видимым.
Если расстояние между положениями текущей и последней вставки велико, объединенные царапины выглядят движущимися. Таким образом, системный контроллер 202 изменяет критерий для определения того, как далеко положение текущего вырезания находится от положения последнего вырезания, в соответствии с информацией о частоте кадров, полученной на этапе S1111.
К примеру, для частоты кадров 60 кадр/с (первая частота кадров), если положение текущей вставки находится в продольном или горизонтальном направлении дальше 10 пикселей (первое заранее определенное значение) от положения последней вставки, определяют, что текущее положение находится от него далеко (расстояние между ними больше заранее определенного значения). С другой стороны, для частоты кадров 30 кадр/с (вторая частота кадров) системный контроллер 202 изменяет критерий таким образом, что если положение текущей вставки находится в продольном или горизонтальном направлении от положения последней вставки дальше 20 пикселей (второе заранее определенное значение), то определяют, что текущее положение находится от него далеко (расстояние между ними больше заранее определенного значения). После определения критерия обработка переходит к этапу S1113.
На этапе S1113 системный контроллер 202 вычисляет расстояние между положением последней вставки данных шума и положением текущей вставки данных шума, вычисленным на этапе S1110.
После вычисления расстояния обработка переходит к этапу S1114.
На этапе S1114 системный контроллер 202 сравнивает расстояние между двумя положениями вставки, вычисленное на этапе S1113, с критерием, вычисленным на этапе S1113. Если расстояние больше критерия (заранее определенного значения) (ДА на этапе S1114), т.е. если системный контроллер 202 определяет, что положение вставки сильно изменилось касательно последнего положения вставки, обработка переходит к этапу S1116. Напротив, если расстояние равно или меньше критерия (НЕТ на этапе S1114), т.е. если системный контроллер 202 определяет, что положение вставки незначительно изменилось касательно последнего положения вставки, обработка переходит к этапу S1115.
На этапе S1115 системный контроллер 202 изменяет заранее определенное максимальное значение счетчика продолжительности наложения (второй заранее определенный промежуток времени) на большее значение. После изменения максимального значения обработка переходит к этапу S1117.
На этапе S1116 системный контроллер 202 изменяет заранее определенное максимальное значение счетчика продолжительности наложения на меньшее значение. После изменения максимального значения обработка переходит к этапу S1117.
На этапе S1117 системный контроллер 202 сравнивает максимальное значение счетчика продолжительности наложения с величиной счетчика продолжительности наложения, хранимой во временной памяти. Если счетчик продолжительности наложения достиг максимального значения (ДА на этапе S1117), обработка переходит к этапу S1122. Напротив, если датчик продолжительности наложения не достиг максимального значения (НЕТ на этапе S1117), обработка переходит к этапу S1118. На этапе S1118 системный контроллер 202 сохраняет определенное положение текущей вставки во временную память для использования в следующем контроле положения вставки. После сохранения положения текущей вставки обработка переходит к этапу S1119.
На этапе S1119 системный контроллер 202 указывает блоку 208 обработки вставки положение текущей вставки. После указания положения текущей вставки обработка переходит к этапу S1120. На этапе S1120 системный контроллер 202 указывает блоку 205 обработки объединения действительность наложения царапин на захваченное изображение. После подтверждения действительности наложения обработка завершает контроль царапин.
На этапе S1121 системный контроллер 202 устанавливает значение счетчика продолжительности наложения в нулевое состояние и сохраняет его во временной памяти. После сохранения значения счетчика продолжительности наложения обработка переходит к этапу S1122.
На этапе S1122 системный контроллер 202 указывает блоку 205 обработки объединения недействительность наложения царапин на захваченное изображение. Наложение может признаваться недействительным любым способом, к примеру, путем вывода только захваченного изображения без выполнения обработки по объединению или путем выполнения обработки по объединению с пониженным отношением объединения царапин к захваченному изображению и выводом только захваченного изображения. После подтверждения недействительности наложения обработка завершает контроль царапин.
Во втором примерном варианте осуществления системный контроллер 202 случайным образом вырезает из любого положения данные шума, содержащие царапины с множеством рисунков (заранее сохраненные в запоминающем блоке), каждый раз, когда обновляется захваченное изображение, и объединяет вырезанные данные шума с захваченным изображением. Это позволяет генерировать случайный во временном и пространственном отношении шум в виде царапин и накладывать движущиеся царапины на движущееся изображение.
Кроме того, если наложение царапин продолжается дольше фиксированного промежутка времени, системный контроллер 202 сравнивает положение текущей вставки с положением последней вставки. В этом случае ограничение наложения царапин дальним положением (с большим позиционным перемещением) делает возможным достижение действия, близкого к фактическому генерированию шума в виде царапин.
В описанных выше первом и втором примерных вариантах осуществления системные контроллеры 102 и 202 изменяют положение вырезания шума в виде зерен и признают недействительным наложение царапин путем изменения условий изменения шума в виде зерен и условий недействительности царапин в зависимости от частоты смены кадров движущегося изображения.
Однако небольшое отношение объединения данных шума затрудняет распознавание шумового компонента в объединенном изображении. Поэтому в контроле вырезания шума в виде зерен тяжело распознавать, что рисунок шума движется, даже если положение текущего вырезания находится близко к положению последнего вырезания.
Само собой разумеется, если отношение объединения данных шума к захваченному изображению может изменяться пользователем или автоматически, то условия могут изменяться в соответствии с отношением объединения данных шума. А именно, чем меньше отношение объединения данных шума к захваченному изображению, тем большим может быть заранее определенное значение.
Первый и второй примерные варианты осуществления были конкретно описаны на основе случая, где шум в виде зерен и царапины накладываются в операции захвата движущегося изображения цифровой видеокамеры.
Тем не менее, настоящее изобретение не ограничено захватом движущегося изображения и может также быть использовано для наложения другого рисунка шума в виде зерен при каждом захвате изображения в режиме непрерывного захвата изображения в захвате неподвижного изображения. Само собой разумеется, что настоящее изобретение может использоваться для наложения эффекта, подобного пленке, при воспроизведении движущегося изображения или неподвижного изображения.
Ниже на основе устройства обработки изображений, выполненного с возможностью наложения на захваченное изображение подобного пленке эффекта вертикального дрожания изображения, генерируемого, когда пленка воспроизводится на кинопроекторе, будет описан третий примерный вариант осуществления. На Фиг.14 и 15 описывается обработка для достижения вертикального дрожания согласно настоящему примерному варианту осуществления, т.е. обработка для вырезания изображения из кадровой памяти и скрытия шума (данных без информации изображения) вследствие вырезания изображения.
Фиг.14 иллюстрирует структуру данных в кадровой памяти, хранящей изображение, захваченное датчиком изображения, и изображение, отображаемое, когда данные кадровой памяти вырезаются в указанном положении. Данные кадровой памяти обновляются подряд. Хотя данные для другого использования хранятся в областях до и после захваченного изображения, эти данные можно расценивать для данных захваченного изображения как данные шума (данные без информации изображения).
Захваченное изображение, хранимое в кадровой памяти, вырезается в заранее определенном начальном положении вырезания на заранее определенном диапазоне вырезания и выводится как отображаемое изображение 1400. Определение начального положения вырезания с использованием случайного числа делает возможным вырезание изображения каждый раз в другом положении и вывод захваченного изображения с вертикальным дрожанием наподобие отображаемых изображений 1401 и 1402.
Начальное положение вырезания определяется, считая один пиксель изображения в вертикальном направлении (одну линию) минимальной единицей. Случайное число для определения начального положения вырезания может быть случайным числом в соответствии с гауссовым распределением и многими другими типами, но конкретными типами не ограничено.
Возникновение дрожания, превышающего предварительно заданную величину, не допускается путем обеспечения максимального значения величины смещения от опорного положения до начального положения вырезания. Опорное положение основано на состоянии, где величина вертикального дрожания равна нулю.
Величина смещения - это сумма двух величин вертикального дрожания, определяемых на разных интервалах. Начальное положение считывания изображения, смещенное от верхнего левого конца на величину смещения, устанавливается в качестве начального положения вырезания. Таким образом, становится возможным представлять вертикальное дрожание как комбинацию разных типов дрожания, таких как вертикальное дрожание, генерируемое операцией продвижения пленки, и вертикальное дрожание, генерируемое операцией наматывания пленки.
Фиг.15 иллюстрирует способ скрытия данных шума, генерируемых, когда применяется эффект вертикального дрожания. Для захваченного изображения 1500 вертикальное дрожание не генерируется. Для захваченных изображений 1501 и 1505 генерируется произвольное вертикальное дрожание и данные шума отображаются внизу экрана. Данные шума могут быть скрыты, как вариант, путем наложения маскирующего изображения или увеличения захваченного изображения.
В способе наложения маскирующего изображения на захваченное изображение 1504 внизу экрана накладывается маскирующее изображение 1503, имеющее размер, превышающий максимальный диапазон дрожания (максимальную величину смещения) вертикального дрожания, скрывая таким образом данные шума. В этом случае наложение маскирующего изображения, имеющего такой же размер, также вверху экрана обеспечивает возможность отображения захваченного изображения 1502 с так называемым соотношением сторон типа «конверт».
С другой стороны, в способе увеличения захваченного изображения область 1506, не включающую в себя максимальный диапазон дрожания вертикального дрожания, увеличивают таким образом, чтобы высота области 1506 совпадала с высотой экрана, при сохранении в то же время соотношения сторон экрана. Таким образом, область 1506 может быть отображена как отображаемое изображение 1507.
Фиг.13 - блок-схема, иллюстрирующая в качестве устройства обработки изображений согласно третьему примерному варианту осуществления цифровую видеокамеру.
Датчик 1300 изображения применяет к формирующему изображение падающему свету фотоэлектрическое преобразование. Преобразованный фотоэлектрическим образом сигнал вводится в блок 1301 обработки сигналов камеры. Блок 1301 обработки сигналов камеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения для преобразования его в видеосигнал и выводит видеосигнал блоку 1310 кодирования. Блок 1310 кодирования кодирует видеосигнал, полученный из блока 1301 обработки сигналов камеры, в заданный формат записи и записывает результирующий видеосигнал на носитель 1311 записи.
Обработка сигнала в блоке 1301 обработки сигналов камеры будет описана ниже. Когда сигнал вводится в блок 1301 обработки сигналов камеры, блок 1304 обработки изображений применяет аналогично первому примерному варианту осуществления к сигналу различные типы обработки сигнала. Блок 1304 обработки изображений сохраняет обработанный сигнал в первую кадровую память 1305 как захваченное изображение.
Для обеспечения эффекта вертикального дрожания блок 1306 обработки вырезания вырезает произвольное положение, используя заранее определенное максимальное значение величины смещения, из первой кадровой памяти 1305. Вторая кадровая память 1308 хранит маскирующее изображение для скрытия данных шума, генерируемых процессом обрезания. Блок 1307 обработки маскирования генерирует маскирующее изображение, имеющее размер, превышающий максимальный диапазон вертикального дрожания, и сохраняет его во второй кадровой памяти 1308.
Блок 1309 обработки объединения считывает в заранее определенные моменты времени захваченное изображение 1504, хранимое в первой кадровой памяти 1305, и маскирующее изображение 1304, генерируемое блоком 1307 обработки маскирования и хранимое во второй кадровой памяти 1308, объединяет захваченное изображение 1504 с маскирующим изображение 1304 и выводит объединенное изображение.
Генератор 1303 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 1300 изображения и подает сгенерированный сигнал датчику 1300 изображения и системному контроллеру 1302.
Системный контроллер 1302 управляет узлом камеры, включающим в себя датчик 1300 изображения и блок 1301 обработки сигналов камеры. Системный контроллер 1302 подает датчику 1300 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов. Системный контроллер 1302 устанавливает для блока 1304 обработки изображений параметры, требуемые для установки качества изображения в различных типах обработки сигнала.
Системный контроллер 1302 подает блоку 1309 обработки объединения команду для указания кадровой памяти, которая должна быть объединена, и команду о распределении объединения во времени. Системный контроллер 1302 подает блоку 1306 обработки вырезания команду о распределении во времени считывания из первой кадровой памяти 1305 и команду о положении вырезания.
Системный контроллер 1302 подает блоку 1307 обработки маскирования команду о размере и цвете маскирующего изображения, которое должно быть наложено, и команду для начала и отмены соответствующей операции. Системный контроллер 1302 подает генератору 1303 сигналов команду о распределении во времени приведения в действие датчика 1300 изображения.
Системный контроллер 1302 согласно настоящему примерному варианту осуществления подает команду блоку 1306 обработки вырезания и блоку 1307 обработки маскирования выполнять для захваченного изображения соответственно обработку по вырезанию и обработку по маскированию. Блок-схема последовательности операций обработки будет описана ниже со ссылкой на Фиг.16 и 17.
Описанный выше контроль вырезания и маскирования осуществляется в режиме захвата изображения, в котором выполняется обработка изображения для применения к захваченному изображению эффекта вертикального дрожания. Как вариант, контроль вырезания и маскирования также выполняется в качестве постобработки после очередного считывания движущегося изображения из памяти, такой как носитель 1311 записи.
Эта обработка начинается синхронно с сигналом вертикальной синхронизации, и серия обработки повторяется сигналом вертикальной синхронизации. В настоящем примерном варианте осуществления применять вертикальное дрожание или нет, может выбираться вручную пользователем или автоматически посредством определения сцены.
Для применения вертикального дрожания маскирование и вертикальное дрожание применяются в этом порядке, чтобы предотвращать наблюдение данных шума. Для отмены применения вертикального дрожания вертикальное дрожание останавливается и затем отменяется маскирование.
На этапе S1601 системный контроллер 1302 определяет, запрашивается ли остановка вертикального дрожания. Если запрашивается остановка вертикального дрожания (ДА на этапе S1601), системный контроллер 1302 получает рабочее состояние, такое как информация о режиме захвата изображения, и, когда он обнаруживает, что режим захвата изображения, требующий вертикального дрожания, изменился на режим захвата изображения, не требующий вертикального дрожания, подает запрос на остановку вертикального дрожания, и обработка переходит к этапу S1609. Напротив, если остановка вертикального дрожание не запрашивается (НЕТ на этапе S1601), обработка переходит на этап S1602.
На этапе S1602 системный контроллер 1302 определяет, запрашивается ли генерирование вертикального дрожания. Если запрашивается генерирование вертикального дрожания (ДА на этапе S1602), системный контроллер 1302 получает рабочее состояние, такое как информация о режиме захвата изображения, и, когда он обнаруживает, что режим захвата изображения, не требующий вертикального дрожания, изменился на режим захвата изображения, требующий вертикального дрожания, подает запрос на генерирование вертикального дрожания, и обработка переходит к этапу S1603. Напротив, если генерирование вертикального дрожания не запрашивается (НЕТ на этапе S1602), обработка переходит к этапу S1612.
На этапе S1603 системный контроллер 1302 устанавливает состояние вертикального дрожания в «GENERATE» («ГЕНЕРИРОВАТЬ»). Контроль вертикального дрожания возможен, когда состояние вертикального дрожания равно «GENERATE». После установки состояния вертикального дрожания обработка переходит к этапу S1604. На этапе S1604 системный контроллер 1302 определяет состояние маскирования, которое должно быть добавлено на верх/низ захваченного изображения. Если системный контроллер 1302 определяет, что состояние вертикального маскирования равно «APPLY» («ПРИМЕНЯТЬ») (ДА на этапе S1604), обработка переходит к этапу S1605. Напротив, если системный контроллер 1302 определяет, что состояние маскирования верха/низа равно «CANCEL» («ОТМЕНА») (НЕТ на этапе S1604), обработка переходит к этапу S1607.
На этапе S1605 системный контроллер 1302 вычисляет величину вертикального дрожания. Величина дрожания определяется случайным образом и может определяться, например, путем присвоения значения, получаемого из блока генерирования случайных чисел, в следующей формуле:
X = Xmax × (r/R),
где X обозначает величину дрожания, Xmax обозначает максимальную величину дрожания, r обозначает величину, полученную из блока генерирования случайных чисел, а R обозначает максимальное значение, выводимое блоком генерирования случайных чисел.
Как описывается выше, множество типов дрожания можно комбинировать. Например, предполагается объединение первого и второго дрожания. Первое дрожание изменяется на коротких интервалах и имеет небольшую величину дрожания. Второе дрожание изменяется на длинных интервалах и имеет большую величину дрожания.
Фиг.17 иллюстрирует изменение во времени величины первого дрожания 1701, изменение во времени величины второго дрожания 1702 и объединение (сумму) изменений во времени величин первого и второго дрожания 1703.
В этом случае величина дрожания X может определяться путем применения к значениям, полученным при помощи блока генерирования случайных чисел, следующей формулы.
X = Xmax1 × (r1/R1) + Xmax2 × (r2/R2),
где Xmax1 обозначает максимальную величину дрожания в изменении величины первого дрожания, Xmax2 обозначает максимальную величину дрожания в изменении величины второго дрожания, r1 и r2 обозначают соответственно величины первого и второго дрожания, полученные из блока генерирования случайных чисел, а R1 и R2 обозначают максимальные значения, выводимые блоком генерирования случайных чисел.
После завершения определения величины дрожания на этапе S1605 обработка переходит к этапу S1606. На этапе S1606 системный контроллер 1302 вычисляет начальное положение вырезания захваченного изображения, хранимого в кадровой памяти, основываясь на величине дрожания, определенной на этапе S1605. После вычисления начального положения вырезания обработка по контролю вертикального дрожания заканчивается.
На этапе S1607 системный контроллер 1302 подает команду блоку 1307 обработки маскирования наносить маскирующего изображения для скрытия данных шума внизу экрана, появляющегося, когда генерируется вертикальное дрожание. В этом случае системный контроллер 1302 предоставляет блоку 1307 обработки маскирования информацию о размере маскирующего изображения. После наложения маскирующего изображения обработка переходит к этапу S1608. На этапе S1608 системный контроллер 1302 устанавливает состояние маскирование в «APPLY» («ПРИМЕНЯТЬ») и обработка по контролю вертикального дрожания заканчивается.
На этапе S1609 системный контроллер 1302 определяет состояние вертикального дрожания. Если состояние маскирования равно «STOP» («ОСТАНОВИТЬ») (ДА на этапе S1609), обработка переходит к этапу S1610. Напротив, если состояние маскирования равно «GENERATE» (НЕТ на этапе S1609), обработка переходит к этапу S1612.
На этапе S1610 системный контроллер 1302 подает команду блоку 1307 обработки маскирования отменить наложение маскирующего изображения для скрытия данных шума внизу экрана, появляющегося, когда генерируется вертикальное дрожание. Системный контроллер 1302 предоставляет блоку 1307 обработки маскирования информацию о недействительности наложения для отмены действительности наложения маскирующего изображения. После указания недействительности наложения обработка переходит к этапу S1611. На этапе S1611 системный контроллер 1302 устанавливает состояние маскирования в «CANCEL» и обработка по контролю вертикального дрожания заканчивается.
На этапе S1612 системный контроллер 1302 устанавливает состояние вертикального дрожания в «STOP». Если состояние вертикального дрожания равно «STOP», контроль вертикального дрожания делается недействительным. После установки состояния вертикального дрожания обработка переходит к этапу S1613. На этапе S1613 системный контроллер 1302 устанавливает в качестве величины дрожания значение без вертикального дрожания. После определения величины дрожания обработка переходит к этапу S1614. На этапе S1614 системный контроллер 1302 вычисляет начальное положение вырезания захваченного изображения, хранимого в кадровой памяти, основываясь на величине дрожания, определенной на этапе S1613. В этом случае вычисленное начальное положение вырезания служит в качестве опорного положения. После вычисления начального положения вырезания обработка по контролю вертикального дрожания заканчивается.
Описанные выше этапы будут учитываться ниже для каждой ситуации.
(1) Когда начинается вертикальное дрожание, после того как запрошено генерирование вертикального дрожания, а остановка вертикального дрожания - нет, обработка переходит к этапам S1601, S1602, S1603 и S1604 в таком порядке. Поскольку первоначальное состояние маскирования верха/низа равно «CANCEL» (НЕТ на этапе S1604), обработка переходит к этапам S1607 и S1608. На этапе S1607 системный контроллер 1302 применяет маскирование верха/низа. На этапе S1608 системный контроллер 1302 изменяет состояние маскирования верха/низа на «APPLY» и обработка первой последовательности заканчивается.
На следующем кадре обработка переходит к этапу S1604. На этапе S1604, поскольку состояние маскирования верха/низа равно «APPLY» (ДА на этапе S1604), обработка переходит к этапам S1605 и S1606. На этапе S1605, а затем S1606 системный контроллер 1302 генерирует вертикальное дрожание.
Впоследствии (2) применение вертикального дрожания продолжается, когда системный контроллер 1302 повторяет обработку на этапах S1601-S1606 для каждого кадра.
(3) Применение вертикального дрожания заканчивается, когда системный контроллер 1302 определяет, что запрошена остановка вертикального дрожания, а генерирование вертикального дрожания - нет. В этом случае обработка переходит от этапа S1601 к этапу S1609. В первой последовательности, так как состояние вертикального дрожания равно «GENERATE», обработка переходит к этапу S1612. На этапе S1612 системный контроллер 1302 устанавливает состояние вертикального дрожания в «STOP». На этапах S1613 и S1614 системный контроллер 1302 останавливает вертикальное дрожание. На следующем кадре обработка переходит к этапам S1601 и S1609. НА этапе S1609 поскольку состояние вертикального дрожание равно «STOP», обработка переходит к этапу S1610. На этапе S1610 системный контроллер 1302 отменяет маскирование верха/низа и устанавливает состояние маскирование верха/низа в «CANCEL» и обработка второй последовательности заканчивается. Это завершает применение вертикального дрожания.
(4) Состояние, где вертикальное дрожание не применяется, продолжается, когда системный контроллер 1302 определяет, что ни остановка вертикального дрожания, ни генерирование вертикального дрожания не запрашивается. В этом случае обработка переходит к этапам S1601-S1602 и S1612. На этапах S1613 и S1614 системный контроллер 1302 выполняет вырезание в положении вырезания без величины дрожания для создания состояния без вертикального дрожания. Продолжение этого цикла сохраняет состояние без вертикального дрожания.
Как описано выше, в третьем примерном варианте осуществления отображение изображения, вырезанного в определенном случайным образом начальном положении вырезания, делает возможным применения к захваченному изображению подобного пленке эффекта вертикального дрожания изображения, генерируемого при воспроизведении пленки на кинопроекторе.
Ниже на основе устройства обработки изображений, выполненного с возможностью применения к захваченному изображению подобного пленке эффекта неравномерной яркости изображения (именуемого в дальнейшем мерцание), генерируемого, когда пленка воспроизводится на кинопроекторе, будет описан четвертый примерный вариант осуществления.
Фиг.19 иллюстрирует обработку для корректирования сигнала яркости для достижения мерцания согласно четвертому примерному варианту осуществления настоящего изобретения. Для достижения мерцания отображенного в конечном счете и записанного изображения в настоящем примерном варианте осуществления используется способ видоизменения входных/выходных характеристик сигнала яркости.
В обработке по корректировке системный контроллер последовательно изменяет составляющую яркости выходного изображения путем видоизменения входных/выходных характеристик сигнала яркости для входного захваченного изображения. В настоящем примерном варианте осуществления минимальная единица изменения сигнала яркости равна минимальному разрешению сигналу выходного изображения, а минимальная единица времени равна интервалу обновления захваченного изображения.
Когда корректировка опорных характеристик выполняется в порядке характеристических сплошных линий 1901, 1902, 1903 и 1904, в качестве изображения получают соответственно изображения 1905, 1906, 1907 и 1908. В этом случае изображение 1908, изображение 1905, изображение 1907 и изображение 1906 ярче в этом порядке.
Мерцание может генерироваться случайным образом, к примеру, посредством определения данных параметров, которые должны быть использованы, из множества частей данных параметров входных/выходных характеристик путем использования случайного числа. Случайное число для определения данных параметров может быть случайным числом, генерируемым в соответствии с гауссовым распределением и многими другими типами, но конкретными типами не ограничено.
Фиг.18A - блок-схема, иллюстрирующая в качестве устройства обработки изображений согласно четвертому примерному варианту осуществления цифровую видеокамеру. Датчик 1800 изображения применяет к формирующему изображение падающему свету фотоэлектрическое преобразование. Преобразованный фотоэлектрическим образом сигнал вводится в блок 1801 обработки сигналов камеры. Блок 1801 обработки сигналов камеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения для преобразования его в видеосигнал и выводит видеосигнал блоку 1808 кодирования. Блок 1808 кодирования кодирует видеосигнал, полученный из блока 1801 обработки сигналов камеры, в заданный формат записи и записывает результирующий видеосигнал на носитель 1809 записи.
Обработка сигнала в блоке 1801 обработки сигналов камеры будет описана ниже. Когда сигнал вводится в блок 1801 обработки сигналов камеры, блок 1804 обработки изображений применяет к каждой из составляющих сигнала (составляющей яркости, цветовой составляющей и черной составляющей) различные типы обработки сигнала. Блок 1804 обработки изображений сохраняет обработанный сигнал в кадровую память 1805 как захваченное изображение.
Блок 1807 хранения характеристических данных хранит множество частей данных параметров для определения входных/выходных характеристик яркости видеосигнала. Например, когда входные/выходные характеристики представлены линейной функцией, как, например, сплошные линии 1901-1904, данные параметров включают в себя наклон прямой линии и отрезка. Для характеристической сплошной линии 1904 вывод вырезается в точке, где вход является большим. Эта вырезанная точка и вырезанное значение также включаются в данные параметров. Затем системный контроллер 1802 передает определенные данные параметров блоку 1806 обработки корректировки.
Блок 1806 обработки корректировки определяет входные/выходные характеристики яркости в соответствии с данными параметров, передаваемыми из блока 1807 хранения характеристических данных, корректирует захваченное изображение, хранимое в кадровой памяти 1805, согласно входным/выходным характеристикам и выводит скорректированное изображение.
Поскольку описанная выше обработка по корректировке выполняется блоком 1804 обработки изображений после сигнала яркости (Y) и цветоразностных (U и V) сигналов, результат обработки по корректировке не затрагивает обработки составляющей яркости, выполняемой блоком 1804 обработки изображений, даже если в результате корректировки изменились выходные характеристики.
Генератор 1803 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 1800 изображения и подает сгенерированный сигнал датчику 1800 изображения и системному контроллеру 1802.
Системный контроллер 1802 управляет узлом камеры, включающим в себя датчик 1800 изображения и блок 1801 обработки сигналов камеры. Системный контроллер 1802 подает датчику 1800 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов.
Системный контроллер 1802 устанавливает для блока 1804 обработки изображений параметры, требуемые для установки качества изображения в различных типах обработки сигнала. Системный контроллер 1802 указывает блоку 1807 хранения характеристических данных данные параметров входных/выходных характеристик.
Системный контроллер 1802 подает блоку 1806 обработки корректировки команду о распределении во времени считывания из кадровой памяти 1805 и команду о действительности или недействительности обработки по корректировке. Системный контроллер 1802 подает генератору 1803 сигналов команду о распределении во времени приведения в действие датчика 1800 изображения.
Системный контроллер 1802 согласно настоящему примерному варианту осуществления подает команду блоку 1806 обработки корректировки и блоку 1807 хранения характеристических данных выполнять соответственно обработку по корректировке и обработку по определению характеристических данных. Блок-схема последовательности операций обработки будет описана ниже со ссылкой на Фиг.20.
Описанный выше контроль корректировки и определения осуществляется в режиме захвата изображения, в котором выполняется обработка изображения для применения к захваченному изображению эффекта мерцания. Как вариант, контроль корректировки и определения также выполняется в качестве постобработки после очередного считывания движущегося изображения из памяти, такой как носитель 1809 записи. Эта обработка начинается синхронно с сигналом кадровой синхронизации, и серия обработки повторяется сигналом вертикальной (кадровой) синхронизации.
На этапе S2001 системный контроллер 1802 получает рабочее состояние контроля мерцания, основываясь на информации о текущем режиме захвата изображения, и определяет, необходимо ли генерирование мерцания. Когда системный контроллер 1802 на основании полученного рабочего состояния определяет, что необходимо генерирование мерцания (ДА на этапе S2001), обработка переходит к этапу S2002. Напротив, когда системный контроллер 1802 определяет, что генерирование мерцания не необходимо (НЕТ на этапе S2001), обработка переходит к этапу S2004.
На этапе S2002 для генерирования мерцания системный контроллер 1802 определяет данные параметров для изменения входных/выходных характеристик, хранимых в блоке 1807 хранения характеристических данных. В этом случае системный контроллер 1802 для изменения величины мерцания выбирает любую из множества частей данных параметров.
Например, для генерирования случайным образом величины мерцания системный контроллер 1802 определяет данные параметров на основе значения, получаемого произвольно из блока генерирования случайных чисел. После определения данных параметров обработка переходит к этапу S2003. На этапе S2003 блок 1806 обработки корректировки выполняет обработку по корректировке с использованием данных параметров, определенных на этапе S2002, и обработка по контролю мерцания заканчивается.
На этапе S2004 для остановки мерцания системный контроллер 1802 выбирает опорные данные параметров из данных параметров входных/выходных характеристик, хранимых в блоке 1807 хранения характеристических данных. Таким образом, обеспечиваются те же характеристики, в то время как мерцание останавливается. После выбора опорных данных параметров обработка переходит к этапу S2003.
Как описывается выше, в четвертом примерном варианте осуществления системный контроллер 1802 применяет к захваченному изображению помимо обычной обработки изображения обработку по корректировке для изменения входных/выходных характеристик сигнала яркости. Это делает возможным применение к захваченному изображению подобного пленке эффекта неравномерности яркости изображения, генерируемого, когда пленка воспроизводится на кинопроекторе.
Фиг.18B - блок-схема, иллюстрирующая примерный вариант осуществления в случае применения вместе обработки по корректировке для обеспечения эффекта мерцания в обработке коэффициента контраста в блоке 1804 обработки изображений, выполняемой также при обычном захвате изображения.
Блок 1810 обработки баланса белого выполняет обработку баланса белого и выводит сигналы красного (R), зеленого (G) и синего (B) цвета. При приеме этих сигналов блок 1806 обработки корректировки выполняет обработку на основе сигнала яркости и цветовых сигналов по отдельности. А именно, блок 1806 обработки корректировки подготавливает RGB-сигналы для сигнала яркости и RGB-сигналы для цветовых сигналов и применяет корректировку коэффициента контраста, соответствующую каждому сигналу.
Потом блок 1806 обработки корректировки генерирует на основе RGB-сигналов для цветовых сигналов цветоразностные (Cb и Cr) сигналы и выводит их блоку 1811 корректировки цветового баланса.
В этих процессах блок 1806 обработки корректировки преобразует кривую коэффициента контраста, которая должна быть применена к RGB-сигналам, для сигнала яркости в кривую коэффициента контраста с учетом входных/выходных характеристик согласно настоящему примерному варианту осуществления. Таким образом, эффекта мерцания можно достигать без обеспечения дополнительно памяти и узла обработки для мерцания.
Ниже на основе устройства обработки изображений, выполненного с возможностью применения с совмещением к изображению описанных выше визуальных эффектов (царапин, мерцания и вертикального дрожания), генерируемых, когда пленка воспроизводится на кинопроекторе, будет описан пятый примерный вариант осуществления. Эффекты царапин, мерцания и вертикального дрожания будут применены аналогично описанным выше примерным вариантам осуществления, и их подробные описания будут опущены.
Фиг.21A и 21B - блок-схемы, иллюстрирующие цифровую видеокамеру в качестве устройства обработки изображений согласно пятому примерному варианту осуществления.
Датчик 2100 изображения применяет к формирующему изображение падающему свету фотоэлектрическое преобразование. Преобразованный фотоэлектрическим образом сигнал вводится в блок 2101 обработки сигналов камеры. Блок 2101 обработки сигналов камеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения для преобразования его в видеосигнал и выводит видеосигнал блоку 2113 кодирования. Блок 2113 кодирования кодирует видеосигнал, полученный из блока 2101 обработки сигналов камеры, в заданный формат записи и записывает результирующий видеосигнал на носитель 2114 записи.
Обработка сигнала в блоке 2101 обработки сигналов камеры будет описана ниже. Когда сигнал вводится в блок 2101 обработки сигналов камеры, блок 2104 обработки изображений применяет аналогично первому примерному варианту осуществления к сигналу различные типы обработки сигнала и выводит сигнал яркости и цветоразностные сигналы. Блок 2104 обработки изображений сохраняет обработанный сигнал в первую кадровую память 2105 как захваченное изображение.
Вторая, третья и четвертая кадровые памяти 2106, 2107 и 2108 используются, чтобы временно хранить результаты различных типов обработки для обеспечения подобных пленке эффектов.
Блоки обработки для применения эффектов, подобных пленке, будет описаны ниже. Блок 2109 обработки вырезания для генерирования вертикального дрожания вырезает изображение из заранее определенного положения вырезания. Блок 2110 обработки корректировки корректирует входные/выходные характеристики яркости изображения для генерирования мерцания.
Блок 2111 обработки объединения объединяет изображение с шумом в виде царапин с захваченным изображением для наложения на захваченное изображение царапин. Блок 2112 обработки маскирования наносит маскирующее изображение для скрытия шума, генерируемого в обработке по вырезанию.
Генератор 2103 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 2100 изображения и подает сгенерированный сигнал датчику 2100 изображения и системному контроллеру 2102.
Системный контроллер 2102 управляет фотокамерным узлом, включающим в себя датчик 2100 изображения и блок 2101 обработки сигналов камеры. Системный контроллер 2102 подает датчику 2100 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов. Системный контроллер 2102 устанавливает для блока 2104 обработки изображений параметры, требуемые для установки качества изображения в различных типах обработки сигнала.
Системный контроллер 2102 подает блоку 2109 обработки вырезания команду для подтверждения или отмены действительности контроля вырезания, команду для указания положения вырезания из первой кадровой памяти 2105, команду о распределении во времени считывания из первой кадровой памяти 2105 и команду о распределении во времени записи во вторую кадровую память 2106.
Системный контроллер 2102 подает блоку 2110 обработки корректировки команду для подтверждения или отмены действительности обработки по корректировке, команду для указания данных параметров входных/выходных характеристик, команду о распределении во времени считывания из второй кадровой памяти 2106 и команду о распределении во времени записи в третью кадровую память 2107. Системный контроллер 2102 подает блоку 2111 обработки объединения команду для подтверждения или отмены подтверждения контроля объединения, команду для указания изображения с шумом (не проиллюстрировано), которое должно быть объединено, команду о распределении во времени считывания из третьей кадровой памяти 2107 и команду о распределении во времени записи в четвертую кадровую память 2108.
Системный контроллер 2102 подает блоку 2112 обработки маскирования команду о размере и цвете маскирующего изображения, которое должно быть наложено при контроле маскирующего изображения, команду о распределении во времени считывания из четвертой кадровой памяти 2108 и команду для начала и отмены соответствующей операции. Системный контроллер 2102 подает генератору 2103 сигналов команду о распределении во времени приведения в действие датчика 2100 изображения.
Системный контроллер 2102 согласно настоящему примерному варианту осуществления управляет блоком 2109 обработки вырезания, блоком 2110 обработки корректировки, блоком 2111 обработки объединения и блоком 2112 обработки маскирования. Фиг.22 - блок-схема последовательности операций, иллюстрирующая контрольные операции, выполняемые системным контроллером 2102, и соответствующую обработку, выполняемую каждым блоком.
Описанный выше контроль осуществляется в режиме захвата изображения, в котором выполняется обработка изображения для применения к захваченному изображению множества подобных пленке эффектов. Как вариант, контроль выполняется в качестве постобработки после последовательного считывания движущегося изображения из памяти, такой как носитель 2114 записи. Эта обработка начинается синхронно с сигналом кадровой синхронизации, и серия обработки повторяется сигналом кадровой синхронизации.
На этапе S2201 системный контроллер 2102 получает такую информацию, как режим захвата изображения и различные настройки, и определяет действительность или недействительность вертикального дрожания. Когда системный контроллер 2102 определяет действительность вертикального дрожания (ДА на этапе S2201), системный контроллер 2102 подает команд блоку 2109 обработки вырезания для выполнения обработки по вырезанию и обработка переходит к этапу S2202. С другой стороны, когда системный контроллер 2102 определяет недействительность вертикального дрожания (НЕТ на этапе S2201), системный контроллер 2102 подает команду блоку 2109 обработки вырезания не выполнять контроль вырезания и обработка переходит к этапу S2203.
На этапе S2202 блок 2109 обработки вырезания применяет к данным изображения, считанным из первой кадровой памяти 2105, обработку вырезания, описанную в третьем примерном варианте осуществления. Блок 2109 обработки вырезания выполняет обработку по маскированию, аналогичную обработке по маскированию на этапах S1605 и S1606 (блок-схема последовательности операций на Фиг.16), и сохраняет вырезанные данные изображения во второй кадровой памяти 2106. Затем обработка переходит к этапу S2203.
На этапе S2203 системный контроллер 2102 получает информацию, такую как режим захвата изображения и различные настройки, и определяет действительность или недействительность мерцания. Когда системный контроллер 2102 определяет действительность мерцания (ДА на этапе S2203), системный контроллер 2102 подает команду блоку 2110 обработки корректировки выполнять обработку по корректировке и обработка переходит к этапу S2204. Напротив, когда системный контроллер 2102 определяет недействительность мерцания (НЕТ на этапе S2203), системный контроллер 2102 подает команду блоку 2110 обработки корректировки не выполнять обработку по корректировке и обработка переходит к этапу S2205.
На этапе S2204 блок 2110 обработки корректировки применяет к данным изображения, считанным из второй кадровой памяти 2106, корректировку входных/выходных характеристик сигнала яркости, подобно четвертому примерному варианту осуществления, для выполнения контроля мерцания. Системный контроллер 2102 подает команду блоку 2110 обработки корректировки выполнять на основе различных настроек обработку для одной последовательности в соответствии с блок-схемой последовательности операций на Фиг.20. Блок 2110 обработки корректировки сохраняет скорректированные данные изображения в третью кадровую память 2107, и обработка переходит к этапу S2205.
На этапе S2205 системный контроллер 2102 получает информацию, такую как режим захвата изображения и различные настройки, и определяет действительность или недействительность наложения царапин. Когда системный контроллер 2102 определяет действительность наложения царапин (ДА на этапе S2205), системный контроллер 2102 подает команду блоку 2111 обработки объединения выполнять обработку по объединению шума в виде царапин и обработка переходит к этапу S2206. С другой стороны, когда системный контроллер 2102 определяет недействительность наложения царапин (НЕТ на этапе S2205), системный контроллер 2102 подает команду блоку 2111 обработки объединения не выполнять обработку по объединению шума в виде царапин и обработка переходит к этапу S2206.
На этапе S2206 блок 2111 обработки объединения аналогично второму примерному варианту осуществления применяет к данным изображения, считанным из третьей кадровой памяти 2107, обработку по объединению шума в виде царапин. Системный контроллер 2102 подает команду блоку 2111 обработки объединения выполнять на основе различных настроек обработку для одной последовательности в соответствии с блок-схемой последовательности операций на Фиг.11. Системный контроллер 2102 определяет положение вырезания и положение объединения данных шума в виде царапин. Блок 2111 обработки объединения сохраняет объединенные данные изображения в четвертой кадровой памяти 2108, и обработка переходит к этапу S2207.
На этапе S2207 системный контроллер 2102 получает информацию, такую как режим захвата изображения и различные настройки, и определяет действительность или недействительность применения маскирования верха/низа. Когда системный контроллер 2102 определяет действительность применения маскирования верха/низа (ДА на этапе S2207), системный контроллер 2102 подает команду блоку 2112 обработки маскирования выполнять обработку по объединению маскирующего изображения и обработка переходит к этапу S2208. Напротив, когда системный контроллер 2102 определяет недействительность применения маскирования верха/низа (НЕТ на этапе S2207), системный контроллер 2102 подает команду блоку 2112 обработки маскирования не выполнять обработку по объединению маскирующего изображения и обработка контрольной последовательности завершается.
На этапе S2208 блок 2112 обработки маскирования, подобно четвертом примерному варианту осуществления, применяет к данным изображения, считанным из четвертой кадровой памяти 2108, обработку по наложению маскирующего изображения. Блок 2112 обработки маскирования выполняет обработку по маскированию, подобную обработке на этапах S1607 и S1608 (блок-схема последовательности операций на Фиг.16). Блок 2112 обработки маскирования выводит обработанные данные изображения блоку 2113 кодирования как данные изображения, подвергнутые блоком 2101 обработки сигналов фотокамеры различным типам обработки сигнала, и обработка первой последовательности заканчивается.
Как описывается выше, в пятом примерном варианте осуществления царапины, мерцание и вертикальное дрожание применяются с совмещением к изображению входных данных изображения. Таким образом, визуальные эффекты, генерируемые, когда пленка воспроизводится на кинопроекторе, можно придавать изображению более достоверно.
Фиг.21B иллюстрирует устройство обработки изображений согласно настоящему примерному варианту осуществления, выполненному с возможностью применения визуальных эффектов в совокупности параллельно с различными типами обработки в обычном режиме захвата изображения.
В настоящем примерном варианте осуществления блок 2109 обработки вырезания обычно единожды помещает в буфер изображение, считанное с датчика 2100 изображения в кадровую память, для регулировки угла изображения, такой как центрирование и обрезание лишних пикселей, и выполняет другую обработку по вырезанию. Блок 2109 обработки вырезания также выполняет функцию стабилизации электронного изображения для корректирования дрожания всего изображения, обусловленного дрожанием камеры.
В настоящем примерном варианте осуществления системный контроллер 2102 подает команду блоку 2109 обработки вырезания выполнять вырезания для вертикального дрожания. Как и на Фиг.18B системный контроллер 2102 подает команду блоку 2110 обработки корректировки для выполнения корректировки коэффициента контраста для сигнала яркости, выполняемой также в блоке 2104 обработки изображений во время обычного захвата изображения, чтобы выполнять на основе кривой коэффициента контраста корректировку коэффициента контраста с учетом входных/выходных характеристик сигнала яркости для мерцания. Это сокращает количеств вновь обеспеченных узлов обработки, достигая высокой скорости обработки.
Ниже на основе устройства обработки изображений, выполненного с возможностью применения к цифровому изображению с совмещением шума в виде зерен и царапин для наложения на цифровое изображение визуальных эффектов (эффектов, подобных пленке), генерируемых, когда пленка воспроизводится на кинопроекторе, будет описан шестой примерный вариант осуществления. Способы генерирования шума в виде зерен и царапин подобно описаны соответственно в первом и втором примерных вариантах осуществления, и одинаковые описания будут опущены.
Фиг.24 иллюстрирует процессы захвата движущегося изображения с использованием в качестве носителя записи пленки от записи (именуемой в дальнейшем захватом изображения) до воспроизведения (именуемого в дальнейшем показом). Фиг.25 - таблица, иллюстрирующая феномены, эффекты и способы исполнения для каждого из процессов, проиллюстрированных на Фиг.24. Для процесса (1) (захват изображения) таблица включает в себя феномены (A) и (B), влияющие на результат показа, эффекты (A-1), (A-2) и (B) по феноменам и способы достижения эффектов на основе имитации посредством обработки изображения.
Процессы захвата движущегося изображения сгруппированы по четырем процессам: (1) захват изображения, (2) проявление и монтаж, (3) хранение и (4) показ. Шум в виде зерен генерируется, например, путем методики проявления, известной как «silver retention» («сохранение серебра» - сохранение черно-белого изображения из серебра в светочувствительных слоях пленки), в процессе (2) (проявление и монтаж).
Царапины генерируются, например, когда бегущая пленка царапается в процессе (4) (показа). Конкретно, шум в виде зерен и царапины генерируются в процессе показа изображения на пленке по разным причинам. Эти два типа шумов имеют разные характеристики.
В первом и втором примерных вариантах осуществления и настоящем примерном варианте осуществления этих двух типов шума добиваются объединением соответствующих изображений с шумом, имитирующих целевой шум, с захваченным изображением.
В процессе (1) (захват изображения) (A-1) снижение количества периферийного света и (A-2) искажение вызываются (A) эффектом оптической характеристики оптической системы, используемой для захвата изображений. В процессе (3) (хранение) (A) выцветание и (B) шум вызываются соответственно (A) ухудшением пленки вследствие старения и (B) прилипанием пыли и красителя.
В процессе (1) эффект искажения может придаваться изображению посредством (A-2) деформации отображаемого изображения. В процессах (2) и (3) эффект шума может придаваться изображению на основе имитации посредством (B) наложения случайного шума в виде зерен. В процессе (3) эффект выцветания может придаваться изображению посредством (A) корректировки цветового баланса и усиления цвета.
При применении множества подобных пленке эффектов придание описанных выше эффектов в порядке, соответствующем процессам захвата изображения на пленку, делает возможным получение более желательного результата. При наложении и шума в виде зерен, и царапин процесс проявления и монтажа, являющийся причиной шума в виде зерен, предшествует процессу показа, который служит источником царапин.
Следовательно, в настоящем примерном варианте осуществления шум в виде зерен сначала объединяется с входными данными изображения, а затем на результирующие данные изображения наносятся царапины. Таким образом, можно получать более достоверный эффект, подобный пленке.
Фиг.23 - блок-схема, иллюстрирующая цифровую видеокамеру в качестве устройства обработки изображений согласно шестому примерному варианту осуществления. Датчик 2300 изображения применяет к формирующему изображение падающему свету фотоэлектрическое преобразование. Преобразованный фотоэлектрическим образом сигнал вводится в блок 2301 обработки сигналов камеры.
Блок 2301 обработки сигналов камеры применяет к преобразованному фотоэлектрическим образом сигналу различные типы обработки изображения для преобразования его в видеосигнал и выводит видеосигнал блоку 2314 кодирования. Блок 2314 кодирования кодирует видеосигнал, полученный из блока 2301 обработки сигналов фотокамеры, в заданный формат записи и записывает результирующий видеосигнал на носитель 2315 записи.
Обработка сигнала в блоке 2301 обработки сигналов камеры будет описана ниже. Когда сигнал вводится в блок 2301 обработки сигналов, блок 2304 обработки изображений применяет к сигналу аналогичные первому примерному варианту осуществления различные типы обработки сигнала. Блок 2304 обработки изображений сохраняет обработанный сигнал в первую кадровую память 2305 как захваченное изображение.
На основе команды от системного контроллера 2302 (второго задающего блока) блок 2308 генерирования царапин (блок выбора) выполняет генерирование и вырезание изображения с шумом в виде царапин. Данные изображения с шумом (вторые данные шума), хранимые во второй кадровой памяти 2306 (втором запоминающем блоке), обрабатываются подобно второму примерному варианту осуществления, а затем объединяются блоком 2310 обработки объединения.
На основе команды от системного контроллера 2302 (первого задающего блока) блок 2309 генерирования шума в виде зерен выполняет генерирование и вырезание изображения с шумом в виде зерен. Данные изображения с шумом (первые данные шума), хранимые в третьей кадровой памяти 2307 (первом запоминающем блоке), обрабатываются подобно первому примерному варианту осуществления и объединяются блоком 2310 обработки объединения.
Блок 2310 обработки объединения выполнен с возможностью последовательного объединения захваченного изображения, хранимого в первой кадровой памяти 2305, с двумя другими изображениями. Первый 2311 блок объединения объединяет данные изображения, хранимые в первой кадровой памяти 2305, с данными изображения шума в виде зерен для формирования первого входного изображения.
Второй блок 2312 объединения объединяет данные изображения, выводимые из первого блока 2311 объединения, с данными изображения шума в виде царапин для формирования второго входного изображения.
Блок 2313 контроля выбора выбирает, должны ли быть введены данные изображения, которые должны быть объединены, в первый блок 2311 объединения и второй блок 2312 объединения. Блок 2313 контроля выбора может выбирать данные изображения, вводимые в первый блок 2311 объединения и второй блок 2312 объединения, независимо друг от друга. Если данные изображения не должны быть введены ни в первый блок 2311 объединения, ни во второй блок 2312 объединения, данные изображения, хранимые в первой кадровой памяти 2305, или данные изображения, выводимые из первого блока 2311 объединения, будут выведены без изменений.
Генератор 2303 сигналов генерирует сигнал для управления распределением во времени приведения в действие датчика 2300 изображения. Генератор 2303 сигналов подает сгенерированный сигнал датчику 2300 изображения и системному контроллеру 2302.
Системный контроллер 2302 управляет узлом камеры, включающим в себя датчик 2300 изображения и блок 2301 обработки сигналов камеры. Системный контроллер 2302 подает датчику 2300 изображения команду об интервале накопления сигналов и распределении во времени считывания сигналов. Системный контроллер 2302 выдает блоку 2304 обработки изображения параметры, требуемые для установки качества изображения в различных типах обработки сигнала.
Системный контроллер 2302 подает блоку 2310 обработки объединения команду о распределении во времени считывания захваченного изображения, которое должно быть объединено в первой кадровой памяти 2305, команду об отношении объединения для первого блока 2311 объединения и второго блока 2312 объединения и команду о том, выполняет ли объединение каждый из первого блока 2311 объединения и второго блока 2312 объединения.
Для генерирования царапин системный контроллер 2302 подает блоку 2308 генерирования шума в виде царапин команду о распределении во времени считывания и записи данных шума из/во вторую кадровую память 2306, команду о размере и положении вырезания, команду о размере для изменения размера и команду о положении вставки для объединения.
Для генерирования шума в виде зерен системный контроллер 2302 подает блоку 2309 генерирования шума в виде зерен команду о распределении во времени считывания и записи данных шума из/в третью кадровую память 2307, команду о размере и положении вырезания, команду о размере для изменения размера и команду о положении вставки для объединения. Системный контроллер 2302 подает генератору 2303 сигналов команду о распределении во времени приведения в действие датчика 200 изображения.
Системный контроллер 2302 согласно настоящему примерному варианту осуществления подает команду блоку 2310 обработки объединения выполнять контроль выбора объединяемого изображения. Фиг.26 - блок-схема последовательности операций, иллюстрирующая операцию контроля и соответствующую обработку, выполняемую каждым блоком.
Описанный выше контроль выбора осуществляется в режиме захвата изображения, в котором к захваченному изображению применяется множество подобных пленке эффектов шума. Как вариант, контроль выбора выполняется как постобработка после очередного считывания движущегося изображения из памяти, такой как носитель 2315 записи. Эта обработка начинается синхронно с сигналом кадровой синхронизации, и серия обработки повторяется сигналом кадровой синхронизации.
При объединении шума в виде зерен и царапин с захваченным изображением с совмещением объединение шума в виде зерен и царапин в этом порядке, как описывается выше, делает возможным получение эффекта, близкого к эффекту, когда пленка показывается фактически. Поэтому блок 2310 обработки объединения вводит изображение с шумом из блока 2309 генерирования шума в виде зерен как изображения для объединения первым блоком 2311 объединения и вводит изображение с шумом из блока 2308 генерирования шума в виде царапин как изображения для объединения вторым блоком 2312 объединения.
На этапе S2601 системный контроллер 2302 получает тип шумового эффекта, который должен быть применен к захваченному изображению, хранимому в первой кадровой памяти 2305, и обработка переходит к этапу S2602. На этапе S2602 системный контроллер 2302 определяет, содержится ли шум в виде зерен в типе шумового эффекта, полученного на этапе S2601. Когда шум в виде зерен содержится (ДА на этапе S2602), обработка переходит к этапу S2603. Напротив, если шум в виде зерен не содержится (НЕТ на этапе S2602), обработка переходит к этапу S2604. На этапе S2603 системный контроллер 2302 подтверждает действительность объединения шума в виде зерен и выполняет обработку по объединению шума в виде зерен, описанную в первом примерном варианте осуществления. Системный контроллер 2302 подает команду блоку 2309 генерирования шума в виде зерен и блоку 2310 обработки объединения выполнять на основе различных настроек обработку для одной последовательности в соответствии с блок-схемой последовательности операций на Фиг.7.
В настоящем примерном варианте осуществления первый блок 2311 обработки объединения объединяет данные изображения, вводимые из первой кадровой памяти 2305, с данными шума в виде зерен. Первый блок 2311 обработки объединения выводит результирующие объединенные данные второму блоку 2312 объединения, и обработка переходит к этапу S2605. На этапе S2604 системный контроллер 2302 определяет установку недействительности объединения шума в виде зерен, и обработка переходит к этапу S2605.
На этапе S2605 системный контроллер 2302 определяет, содержатся ли царапины в типе шумового эффекта, полученного на этапе S2605. Если шум в виде царапин содержится (ДА на этапе S2605), обработка переходит к этапу S2606. Напротив, если шум в виде царапин не содержится (НЕТ на этапе S2605), обработка переходит к этапу S2607.
На этапе S2606 системный контроллер 2302 подтверждает действительность объединения царапин и выполняет обработку по объединению шума в виде царапин, описанную во втором примерном варианте осуществления. Системный контроллер 2302 подает команду блоку 2308 генерирования шума в виде царапин и блоку 2310 обработки объединения выполнять на основе различных настроек обработку для одной последовательности в соответствии с блок-схемой последовательности операций на Фиг.11.
В настоящем примерном варианте осуществления блок 2308 генерирования шума в виде царапин генерирует данные шума, а второй блок 2312 объединения объединяет результирующие данные изображения, выводимые первым блоком 2311 объединения, с данными шума в виде царапин. Блок 2310 обработки объединения выводит результирующие объединенные данные как вывод блока 2301 обработки сигналов фотокамеры, и обработка контрольной последовательности завершается.
На этапе S2607 системный контроллер 2302 определяет настройку недействительности объединения царапин, и обработка заканчивает контрольную последовательность.
Как описано выше, в шестом примерном варианте осуществления два типа шумов, т.е. шум в виде зерен и царапины, имеющие разную временную и пространственную степень рандомизации, генерируются по отдельности, а затем с совмещением объединяются с данными изображения. Таким образом, визуальные эффекты, генерируемые, когда пленка воспроизводится на кинопроекторе, можно придавать изображению более достоверно.
Кроме этого эти шумы объединяются с данными изображения в порядке процессов захвата изображения на пленку для обеспечения возможности получения более достоверного эффекта шума.
В настоящем примерном варианте осуществления данные изображения шума в виде зерен сначала объединяется с входными данными изображения, а затем на результирующие данные изображения накладываются царапины. В этом случае способ объединения этим не ограничивается. Данные изображения шума в виде зерен могут сначала объединяться с данными изображения шума в виде царапин, а затем результирующие объединенные данные могут быть объединены с входными данными изображения.
В этом случае перед объединением данных изображения шума в виде зерен с данными изображения шума в виде царапин данным изображения шума в виде зерен заранее придается проницаемость. Затем данные изображения шума в виде зерен объединяются (вставляются) с данными изображения шума в виде царапин в отношении 0:1. Потом входные данные изображения объединяются с результирующими объединенными данными изображения шума в отношении 0:1. Шум в виде зерен объединяется в отношении объединения, соответствующем проницаемости, и выходное изображение таково, что царапины вставляются на него, добиваясь таким образом более достоверного изображения, как описывается в настоящем примерном варианте осуществления.
Аспекты настоящего изобретения могут быть также реализованы при помощи вычислительной машины в виде системы или устройства (или таких устройств, как центральный процессор или микропроцессор), которая считывает и исполняет программу, записанную на запоминающем устройстве, для выполнения функция описанных выше вариантов осуществления. Для этой целей вычислительной машине обеспечивается программа, например, через сеть или с носителя записи различных типов, служащих в качестве запоминающего устройства (например, машиночитаемого носителя). В таком случае система или устройство и носитель записи, где хранится программа, включены в состав, поскольку находятся в пределах объема настоящего изобретения.
Хотя настоящее изобретение было описано со ссылкой на примерные варианты осуществления, понятно, что изобретение не ограничено раскрытыми примерными вариантами осуществления. Объем нижеследующей формулы изобретения подлежит самому широкому толкованию, чтобы охватывать все модификации, эквивалентные структуры и функции.
Изобретение относится к устройству обработки изображений. Техническим результатом является обеспечение на цифровых видеоданных эффектов, подобных пленке, путем наложения на захваченное изображение двух типов шума с разными характеристиками. Результат достигается тем, что шум в виде зерен и царапины накладываются на входное изображение в качестве случайного шума для создания объединенного изображения. При наложении на входное изображение шума в виде зерен, вырезанного из двумерных данных шума, каждый раз, когда выполняется вырезание, оценивается разница положения от последнего положения вырезания. Если определяют, что разница между положениями мала, положение текущего вырезания изменяют. При наложении на входное изображение царапин, вырезанных из данных шума с множеством рисунков, когда выбирается условие для последовательного нанесения царапин в течение заранее определенного промежутка времени, оценивается разница положения от последнего положения вставки. Если определяют, что расстояние велико, наложение царапин признается недействительным. 4 н. и 8 з.п. ф-лы, 30 ил.
1. Устройство обработки изображений, осуществляющее обработку изображений для множества входных изображений кадров, при этом устройство обработки изображений содержит:
блок вырезания, выполненный с возможностью вырезания каждого изображения из множества входных изображений кадров в положении, определенном на основании случайного значения,
блок маскирования для наложения маскирующего изображения на вырезанное изображение.
2. Устройство по п.1, дополнительно содержащее
блок корректировки сигнала яркости для выполнения коррекции для изменения входных/выходных характеристик сигнала яркости произвольным образом во времени для множества входных изображений кадров.
3. Устройство по п.1, дополнительно содержащее
блок корректировки сигнала яркости для выбора параметров произвольным образом из параметров, содержащих входные/выходные характеристики множества значений сигнала яркости уже сохраненных для множества входных изображений кадров и осуществляет коррекцию.
4. Устройство по п.1, дополнительно содержащее
блок захвата для захвата множества входных изображений кадров, при этом блок корректировки сигнала яркости изменяет входные/выходные характеристики сигнала яркости произвольным образом во времени с обработкой коэффициента контраста для множества входных изображений кадров и осуществляет коррекцию.
5. Устройство по п.1, дополнительно содержащее
блок корректировки сигнала яркости для выполнения корректировки для изменения входных/выходных характеристик сигнала яркости произвольным образом во времени для множества входных изображений кадров,
при этом блок корректировки сигнала яркости накладывает маскирующее изображение посредством блок маскирования на изображение, скорректированное блоком корректировки сигнала яркости.
6. Устройство по п.1, дополнительно содержащее
блок комбинирования для наложения одного из изображений данных шума с множеством рисунков,
при этом блок корректировки сигнала яркости выполняет комбинирование данных шума с помощью блока комбинирования с сигналом яркости изображения, скорректированного блоком корректировки сигнала яркости, и накладывает маскирующее изображение посредством блока маскирования.
7. Устройство обработки изображений, осуществляющее обработку изображений для множества входных изображений кадров, при этом устройство обработки изображений содержит:
блок вырезания, выполненный с возможностью вырезания каждого изображения из множества входных изображений кадров в положении, определенном на основании случайного значения,
блок увеличения для увеличения указанного вырезанного изображения до размера входного изображения кадра.
8. Устройство по п.7, дополнительно содержащее
блок корректировки сигнала яркости для выполнения коррекции для изменения входных/выходных характеристик сигнала яркости произвольным образом во времени для множества входных изображений кадров.
9. Устройство по п.7, дополнительно содержащее
блок корректировки сигнала яркости для выбора параметров произвольным образом из параметров, содержащих входные/выходные характеристики множества значений сигнала яркости уже сохраненных для множества входных изображений кадров и осуществляет коррекцию.
10. Устройство по п.7, дополнительно содержащее
блок захвата для захвата множества входных изображений кадров, при этом блок корректировки сигнала яркости изменяет входные/выходные характеристики сигнала яркости произвольным образом во времени с обработкой коэффициента контраста для множества входных изображений кадров и осуществляет коррекцию.
11. Способ обработки изображений для выполнения обработки изображений для множества входных изображений кадров, содержащий этапы, при которых:
вырезают каждое изображение из множества входных изображений кадров в положении, определенном на основании случайного значения, и
накладывают маскирующее изображение на указанное вырезанное изображение.
12. Способ обработки изображений для выполнения обработки изображений для множества входных изображений кадров, содержащий этапы, при которых:
вырезают каждое изображение из множества входных изображений кадров в положении, определенном на основании случайного значения, и
увеличивают вырезанное изображение до размера входного изображения кадра.
| WO 9428490 A1, 1994.12.08 | |||
| US 5459529 A, 1995.10.17 | |||
| US 2007070241 A1, 2007.03.29 | |||
| US 5185808 A, 1993.02.09 | |||
| US 2006133686 A1, 2006.06.22 | |||
| US 2006182183 A1, 2006.08.17 | |||
| US 2007036452 A1, 2007.02.15 | |||
| RU 2340944 C2, 2008.12.10 |
