Область техники, к которой относится изобретение
Настоящее изобретение в целом относится к устройствам цифровых камер и, в частности, может быть подходящим для мобильных электронных устройств, которые включают в себя цифровую камеру.
Уровень техники
Многие цифровые камеры неподвижного изображения или видео используют системы автоматической фокусировки пассивного типа, которые измеряют контрастность содержания изображения. Описанное в общих чертах, при сравнении резкого изображения с расплывчатым изображением, визуализированными на одной и той же сцене, резкое изображение содержит больше информации из высоких пространственных частот. В нем имеется больше переходов между темными и светлыми областями, и разность между темными и светлыми областями является большей. Оценка контрастности содержания изображения между изображениями может дать относительный показатель резкости. Традиционная система автоматической фокусировки, основанная на контрастности, включает в себя объектив камеры, средство фокусировки, предназначенное для изменения позиции объектива, датчик формирования изображения и процессор цифровых сигналов (DSP). Объектив сконфигурирован с возможностью перемещения в разные дискретные позиции фокусировки, причем каждое положение соответствует определенному расстоянию объекта до камеры. При работе система перемещает объектив в несколько разных позиций во время процесса автоматической фокусировки. Изображение захватывают в каждой позиции, и для каждого изображения может быть определена относительная величина резкости. Затем система перемещает объектив в позицию, которая создала изображение, имеющее наибольшую величину резкости.
Обычная цифровая камера мобильного телефона использует способ контрастности изображения для автоматической фокусировки. Камера мобильного телефона может охватывать расстояние фокусировки приблизительно от 10 см до бесконечности с помощью использования разрешения, выполняемого с помощью 10-20 шагов фокусировки. Такая камера мобильного телефона может иметь датчик с 2 миллионами пикселей и объектив с фиксированным фокусным расстоянием с диафрагмой f1:2,8. Этот тип камеры может создавать приблизительно 15-30 изображений каждую секунду при дневном свете или ярком искусственном свете. Полагают, что действия автоматической фокусировки для изображения с использованием этих устройств являются относительно медленными, и для выполнения могут требовать приблизительно 1-2 секунд.
Для уменьшения этого времени может быть использовано подквантование. В способе подквантования объектив не перемещается в каждое дискретное местоположение во время процесса поиска. Величины резкости могут быть интерполированы, чтобы создавать оценку резкости для положений между положениями, которые фактически квантованы.
К сожалению, несмотря на то, что подквантование может уменьшить время автоматической фокусировки, может быть внесено ухудшение точности. Кроме того, время, которое оно требует для фокусировки, по-прежнему является относительно большим, обычно приблизительно 1 секунда. Это может сделать трудным выполнять достаточное слежение автоматической фокусировки для видеозаписи с использованием способа подквантования. Например, когда основной объект перемещается ближе или дальше от камеры, система может указать, что резкость изменилась. Однако трудно определить, насколько объект переместился и/или в каком направлении. Некоторые относительно сложные и точные (относительно дорогие) видеосистемы могут обращаться к этой проблеме с помощью “рыскания” объектива взад и вперед очень малыми шагами.
Остается потребность предоставить альтернативные экономичные системы автоматической фокусировки для цифровых камер с функциональными возможностями записи неподвижного изображения и/или видео.
Сущность изобретения
Некоторые варианты настоящего изобретения предоставляют цифровые камеры с системами триангуляционной автоматической фокусировки. Определенные варианты осуществления настоящего изобретения предоставляют мобильные устройства связи, включающие в себя цифровые камеры, которые имеют системы триангуляционной автоматической фокусировки.
Некоторые дополнительные варианты осуществления настоящего изобретения адресованы способам автоматической фокусировки цифровой камеры в режиме записи неподвижного изображения и/или видео. Способы включают в себя этапы, на которых: (а) проецируют, по меньшей мере, одно световое пятно на целевой объект; (b) выполняют захват первого изображения целевого объекта, имеющего, по меньшей мере, одно световое пятно, в ответ на этап, на котором проецируют световое пятно; (с) определяют программным способом расстояние целевого объекта от цифровой камеры с использованием изображения со световым пятном; и (d) автоматически фокусируют объектив цифровой камеры на основании этапа, на котором определяют расстояние целевого объекта от цифровой камеры. В некоторых вариантах осуществления способы могут включать в себя этапы, на которых: выполняют захват второго изображения целевого объекта, лишенного излученного светового пятна, ближайший по времени захвату первого изображения; сравнивают электронным способом область, представляющую интерес, в первом и втором изображении, чтобы определить позиционные данные, связанные со световым пятном в первом изображении; и вычисляют электронным способом расстояние целевого объекта от камеры на основании определенных позиционных данных. Первое и второе изображения могут быть захвачены с использованием установки одинаковой экспозиции и установки одинакового баланса белого цвета.
Способы могут быть выполнены таким образом, что первое и второе изображения захватывают в пределах приблизительно меньше чем 0,10 секунд друг от друга. В некоторых вариантах осуществления, в которых скорость кадров находится приблизительно между 15-30 кадров/с, этап, на котором автоматически фокусируют объектив цифровой камеры, может быть выполнен в диапазоне приблизительно 0,033-0,067 секунд. Для увеличенных скоростей кадров задержка между захваченными изображениями может быть меньше чем 0,033 секунд.
Способы могут включать в себя этапы, на которых выполняют автоматическую фокусировку во время видеозаписи с помощью мониторинга последовательно генерируемых проецируемых световых пятен в изображениях; и удаляют электронным способом световые пятна из данных изображения в изображениях пятен видеозаписи.
В некоторых вариантах осуществления способы могут включать в себя этап, на котором автоматически стабилизируют фокус движущегося объекта в неподвижном изображении с использованием захваченного изображения пятна. Этап, на котором проецируют световое пятно, может включать в себя этап, на котором излучают свет из источника света в видимой части светового спектра.
В некоторых вариантах осуществления этап, на котором выполняют захват изображения, может включать в себя этап, на котором выполняют захват сигнала изображения с использованием датчика цифровой камеры, который сконфигурирован с возможностью интегрирования сигнала с помощью детектирования фотонов в течение времени экспозиции изображения.
В некоторых вариантах осуществления проецирование, по меньшей мере, одного пятна выполняют, по существу, с помощью одновременного проецирования множества дискретных пространственно разделенных пятен. Способы также могут включать в себя этап, на котором вычисляют множество расстояний от объекта до пятна, причем одно расстояние для каждого из множества отдельных пятен. Этап, на котором автоматически фокусируют объектив цифровой камеры, может использовать пятно, вычисленное, как имеющее ближайшее расстояние объекта до камеры, чтобы установить фокусное расстояние для изображения.
В некоторых вариантах осуществления способы могут включать в себя этап, на котором автоматически регистрируют электронным способом область, представляющую интерес, в первом и втором изображениях, чтобы таким образом обеспечить стабилизацию изображения.
Некоторые дополнительные варианты осуществления настоящего изобретения адресованы способам обеспечения стабилизации движущегося изображения в изображениях, генерируемых с помощью электронных устройств связи с цифровой камерой. Способы включают в себя этапы, на которых: (а) выполняют захват электронным способом контрольного изображения; (b) выполняют захват электронным способом целевого изображения, по меньшей мере, с одной областью изображения пятна; (с) автоматически математически преобразуют, по меньшей мере, область пятна целевого изображения с помощью сравнения, по меньшей мере, части целевого изображения, содержащего область изображения пятна, в соответствующую область в контрольном изображении; и (d) генерируют изображение со стабилизированным движением на основании данных из математического преобразования.
В некоторых вариантах осуществления контрольное и целевое изображения могут быть захвачены в пределах приблизительно меньше чем 0,10 секунд друг от друга (обычно в пределах приблизительно 0,033-0,067 секунд друг от друга). Способы могут включать в себя этапы, на которых: регистрируют целевое и контрольное изображения на основании данных из математического преобразования; вычитают соответствующие величины пикселей из выровненных целевого и контрольного изображений, чтобы предоставить разностное изображение; и определяют местоположение пятна на основании разностного изображения. В некоторых конкретных вариантах осуществления этап, на котором вычитают соответствующие величины пикселей, содержит этап, на котором отдельно подсчитывают величины пикселей разного цвета в соответствующих пикселях.
Дополнительные варианты осуществления настоящего изобретения предоставляют цифровые камеры, сконфигурированные с системой триангуляционной автоматической фокусировки.
В некоторых вариантах осуществления цифровая камера с системой триангуляционной автоматической фокусировки образует часть портативного электронного устройства связи.
В некоторых вариантах осуществления цифровая камера включает в себя излучатель луча пятна и объектив камеры, расположенный вблизи излучателя луча пятна, причем излучатель луча пятна сконфигурирован с возможностью проецирования, по меньшей мере, одного пятна на целевой объект, который может быть захвачен в цифровом изображении целевого объекта, снятого с помощью камеры. Излучатель луча пятна может быть сконфигурирован с возможностью проецирования света (световых излучений), который находится в видимой части светового спектра.
Цифровая камера может включать в себя датчик изображения камеры, который находится во взаимодействии с объективом камеры, причем датчик изображения камеры сконфигурирован с возможностью работы в качестве приемника в системе триангуляционной автоматической фокусировки.
В некоторых вариантах осуществления цифровая камера может включать в себя датчик изображения цифровой камеры, сконфигурированный с возможностью взаимодействия с излучателем луча пятна и/или схемой управления автоматической экспозицией, которая находится во взаимодействии с излучателем луча пятна, чтобы управлять длительностью и/или интенсивностью проецируемого пятна.
Цифровая камера может включать в себя коллимационный объектив в маршруте передачи света, сконфигурированный с возможностью коллимации света из излучателя луча пятна.
В некоторых вариантах осуществления излучатель луча пятна цифровой камеры сконфигурирован с возможностью генерирования множества пространственно разделенных пятен на объект, который захватывают в изображении.
В определенных вариантах осуществления цифровая камера может включать в себя одно или более из следующего: прозрачную дифракционную решетку, цилиндрический объектив или голографическую дифракционную решетку, которые находятся во взаимодействии с излучателем луча пятна, чтобы, по существу, одновременно генерировать множество пятен в изображении.
Цифровая камера может включать в себя излучатель луча пятна, который сконфигурирован с возможностью работы с импульсом луча пятна, имеющим длительность пятна приблизительно 1 мс или меньше.
В некоторых вариантах осуществления цифровая камера может дополнительно включать в себя систему автоматической фокусировки контрастности. Цифровая камера может включать в себя схему управления интенсивностью света, которая находится во взаимодействии с излучателем луча пятна. Излучатель луча пятна цифровой камеры может включать в себя лазер, а камера может включать в себя схему управления импульсами. Цифровая камера может включать в себя устройство управления автоматической экспозицией, используемое, чтобы синхронизировать длительность спроецированного пятна и чтобы осуществлять мониторинг яркости объекта целевого изображения.
Цифровая камера может включать в себя схему управления, которая сконфигурирована с возможностью выборочного управления камерой в режиме камеры неподвижного изображения и в режиме видеозаписи. Схема управления может быть сконфигурирована с возможностью управления излучением импульса луча пятна в течение режимов неподвижного изображения и видеозаписи, и схема управления может быть сконфигурирована с возможностью предотвращения излучения импульса луча пятна в течение захвата выбранных изображений.
Устройство цифровой камеры может быть сконфигурировано с возможностью автоматического сравнения электронным способом области, представляющей интерес, между запомненными электронным способом последовательными первым и вторым изображениями, чтобы определять позиционные данные, связанные со световым пятном, сгенерированным с помощью излучателя луча пятна, затем автоматического вычисления электронным способом расстояния целевого объекта от камеры на основании определенных позиционных данных и регулировки позиции объектива в соответствующую фокусную позицию на основании вычисленного расстояния.
Устройство цифровой камеры может быть сконфигурировано с возможностью автоматической регистрации и/или выравнивания электронным способом области, представляющей интерес, в первом и втором изображениях, чтобы таким образом обеспечить стабилизацию движущегося изображения в неподвижном изображении.
В конкретных вариантах осуществления цифровая камера находится в портативном электронном устройстве связи. Цифровая камера может включать в себя излучатель луча пятна, сконфигурированный с возможностью проецирования пятна на целевой объект, имеющего длительность и интенсивность, достаточные для того, чтобы дать возможность лучу быть захваченным в цифровом изображении целевого объекта.
Другие варианты осуществления адресованы компьютерным программным продуктам, предназначенным для управления системой триангуляционной автоматической фокусировки в цифровой камере. Компьютерный программный продукт включает в себя доступную для чтения с помощью компьютера запоминающую среду, имеющую доступный для чтения с помощью компьютера программный код, осуществленный в среде. Доступный для чтения с помощью компьютера программный код включает в себя: (а) доступный для чтения с помощью компьютера программный код, который управляет с возможностью регулирования излучателем луча пятна, чтобы обеспечить пятно, которое является видимым в захваченном цифровом изображении; и (b) доступный для чтения с помощью компьютера программный код, который вычисляет расстояние объекта до камеры с использованием определенного расстояния пятна от излучателя луча пятна в захваченном цифровом изображении.
Компьютерный программный продукт также может включать в себя доступный для чтения с помощью компьютера программный код, который автоматически регистрирует и/или выравнивает электронным способом область, представляющую интерес, между последовательными ближайшими по времени первым и вторым изображениями, чтобы, таким образом, обеспечить стабилизацию движущегося изображения в неподвижном изображении.
Другие варианты осуществления адресованы портативному устройству связи с цифровой камерой, содержащей систему автоматической фокусировки, которая сконфигурирована с возможностью измерения расстояния между целевым объектом и камерой с использованием данных изображения видоискателя и автоматического перемещения объектива камеры в фокусную позицию на основании измеренного расстояния.
Краткое описание чертежей
Другие признаки настоящего изобретения будут более понятными из следующего подробного описания конкретных вариантов его осуществления при чтении совместно с сопровождающими чертежами, на которых:
фиг.1 - схематическая иллюстрация системы триангуляционной автоматической фокусировки в соответствии с различными вариантами осуществления настоящего изобретения;
фиг.2А - схематическая иллюстрация цифровой камеры с системой автоматической фокусировки с излучателем луча пятна в соответствии с вариантами осуществления настоящего изобретения;
фиг.2В - схематическая иллюстрация цифровой камеры с системой автоматической фокусировки, имеющей коллимационный объектив, который находится во взаимодействии с излучателем луча пятна, в соответствии с вариантами осуществления настоящего изобретения;
фиг.3А - схематическая иллюстрация цифровой камеры с системой автоматической фокусировки, использующей излучатель луча пятна, который проецирует световое пятно на целевой объект, а объектив камеры сконфигурирован с возможностью захвата изображения объекта со световым пятном в соответствии с вариантами осуществления настоящего изобретения;
фиг.3В - схематическая иллюстрация цифровой камеры с системой автоматической фокусировки, сконфигурированной с возможностью, по существу, одновременного генерирования множества проецируемых световых пятен, которые могут быть захвачены в цифровом изображении с излучателем луча пятна в соответствии с вариантами осуществления настоящего изобретения;
фиг.4А и фиг.4В - виды спереди примерных цифровых камер в соответствии с вариантами осуществления настоящего изобретения;
фиг.5А - блок-схема компонентов системы автоматической фокусировки для цифровой камеры в соответствии с вариантами осуществления настоящего изобретения;
фиг.5В - принципиальная схема, предназначенная для управления выводом импульса лазерного излучателя луча пятна в соответствии с вариантами осуществления настоящего изобретения;
фиг.6 - блок-схема операций, которые могут быть использованы для автоматической фокусировки цифровой камеры в соответствии с вариантами осуществления настоящего изобретения;
фиг.7 - блок-схема операций, которые могут быть использованы для автоматической фокусировки цифровой камеры в соответствии с вариантами осуществления настоящего изобретения;
фиг.8 - блок-схема операций, которые могут быть использованы для выполнения способа автоматической фокусировки цифровой камеры со стабилизацией движения в соответствии с вариантами осуществления настоящего изобретения;
фиг.9 - блок-схема системы обработки данных в соответствии с вариантами осуществления настоящего изобретения;
фиг.10А - цифровое контрольное изображение целевого объекта, а фиг.10В - изображение пятна целевого объекта, причем изображения сняты последовательно во времени, в соответствии с вариантами осуществления настоящего изобретения;
фиг.11А - разностное изображение контрольного изображения и изображения пятна, изображенных на фиг.10А и фиг.10В, в соответствии с вариантами осуществления настоящего изобретения;
фиг.11В - сильно увеличенное изображение области пятна в разностном изображении, изображенном на фиг.11А, в соответствии с вариантами осуществления настоящего изобретения;
фиг.12А - цифровое изображение целевого объекта с использованием традиционной контрастности, основанной на системе AF;
фиг.12В - цифровое изображение того же самого целевого объекта, изображенного на фиг.12А, но снятого с помощью системы AF с триангуляцией с помощью множества пятен, в соответствии с вариантами осуществления настоящего изобретения;
фиг.13 - изображение QVGA с множеством позиций пятен, которые увеличены для пояснения в выделенной разобранной части, изображенной справа, в соответствии с вариантами осуществления настоящего изобретения;
фиг.14 - пример исходного кода, который может быть использован для того, чтобы программным способом выполнять вычисления анализа изображения для оценки позиции пятна (пятен) с помощью регистрации изображения, в соответствии с вариантами осуществления настоящего изобретения.
Подробное описание вариантов осуществления изобретения
Теперь настоящее изобретение будет описано более подробно далее со ссылкой на сопровождающие чертежи, на которых изображены варианты осуществления изобретения. Однако это изобретение не должно быть истолковано как ограниченное вариантами осуществления, приведенными в настоящем описании. Вместо этого эти варианты осуществления предоставлены так, что это раскрытие будет детальным и полным, и будет полностью передавать рамки объема изобретения специалистам в данной области техники. Одинаковые номера относятся к одинаковым элементам по всему описанию. На фигурах определенные уровни, компоненты или признаки могут быть увеличены для пояснения, и пунктирные линии иллюстрируют необязательные признаки или операции, если не оговорено иначе. Кроме того, последовательность операций (или этапов) не ограничена последовательностью, предоставленной в формуле изобретения или на фигурах, если не указано конкретно иначе. Где использованы термины “прикрепленный”, ”соединенный”, ”контактирующий”, ”соединяющий” и тому подобное, можно понимать либо непосредственное, либо косвенное соединение, если не определено иначе.
Будет понятно, что, несмотря на то, что термины первый, второй и т.д. могут быть использованы в настоящем описании для того, чтобы описывать различные элементы, эти элементы не должны быть ограничены этими терминами. Эти термины использованы только для того, чтобы отличать один элемент от другого элемента. Следовательно, первый элемент, обсужденный ниже, мог бы быть назван вторым элементом, не выходя за рамки объема настоящего изобретения. Кроме того, подразумевается, что когда использованы в настоящем описании, формы единственного числа (неопределенные и определенные артикли) также включают в себя формы множественного числа, если иначе точно не указывает контекст.
Также будет понятно, когда использован в настоящем описании, термин “содержащий” или ”содержит” является неограниченным и включает в себя один или более определенных элементов, этапов и/или функций, без устранения одного или более неопределенных элементов, этапов и/или функций. Как использован в настоящем описании, термин “и/или” включает в себя любые и все комбинации из одного или более связанных перечисленных элементов. Также будет понятно, что, когда элемент упоминают, как являющийся ”соединенным” с другим элементом, он может быть непосредственно соединен с другим элементом, или могут присутствовать промежуточные элементы. Наоборот, когда элемент упоминают как, являющийся “непосредственно соединенным” с другим элементом, не присутствуют никакие промежуточные элементы. Также будет понятно, что размеры и относительные ориентации проиллюстрированных элементов не изображены в масштабе, и в некоторых случаях они могут быть увеличены для целей объяснения.
Если не определено иначе, все термины (включая технические и научные термины), использованные в настоящем описании, имеют тот же самый смысл, который обычно понятен обычным специалистам в данной области техники, к которой принадлежит это изобретение. Дополнительно будет понятно, что термины, такие как термины, определенные в обычно используемых словарях, должны быть интерпретированы, как имеющие смысл, который является согласующимся с их смыслом в контексте этой заявки и соответственной области техники, и не должны быть интерпретированы в идеализированном или слишком формальном смысле, если так явно не определено в настоящем описании.
Термин “электронный” означает, что система, операция или устройство могут взаимодействовать с использованием подходящей электронной среды, и обычно использует программное управление взаимодействием, протоколом интерфейса, синхронизацией и обменом данными и тому подобное между компонентами цифровой камеры с системой автоматической фокусировки. Термин “автоматический” означает, что, по существу, все или все из операций, так описанные, могут быть выполнены без требования активного ручного ввода человека-оператора, и обычно означает, что операцией (операциями) можно управлять программно электронным способом, и/или операция (операции) могут быть выполнены программно электронным способом.
Понятие мобильные электронные устройства (связи) включает в себя портативную аппаратуру радиосвязи, которая может быть описана как мобильный радио терминал, и включает в себя всю такую аппаратуру, как, например, мобильные телефоны, пейджеры, коммуникаторы, электронные органайзеры, интеллектуальные телефоны, карманные, переносные портативные или ладонные компьютеры, персональные цифровые ассистенты и тому подобные.
Понятие “система триангуляционной автоматической фокусировки” означает систему автоматической фокусировки, которая использует активный тип автоматической фокусировки, который вычисляет показатель расстояния между камерой и объектом, а анализирует относительные резкости с помощью сравнения множества изображений. Система триангуляционной автоматической фокусировки может проецировать излученный луч (лучи) излучения из источника света, объединенного с камерой, на целевой объект. Спроецированное световое пятно или пятна могут быть обнаружены в цифровом изображении (обычно в данных изображения видоискателя относительно низкого разрешения) объекта как отраженный свет. Термин “пятно” означает малую, локализированную зону области изображения, которая является следствием захваченного излученного луча (лучей) излучения из спроецированного светового пятна. Пятно может быть любой подходящей формы, включая полосу или линию, и размер его может быть задан таким образом, чтобы оно было обнаруживаемым в цифровом изображении с использованием разрешения камеры. В некоторых вариантах осуществления пятно может быть примерно между 1-5 пикселями, а в некоторых конкретных вариантах осуществления может быть размером меньше пикселя. Как будет осуждено ниже, в некоторых вариантах осуществления цифровая камера может быть сконфигурирована с возможностью генерирования множества пятен, одно или более из которых могут быть использованы, чтобы определять подходящее фокусное расстояние для целевого объекта.
Варианты осуществления настоящего изобретения могут быть использованы с любым желаемым разрешением (более высокое разрешение обеспечивает больше подробностей). Типичным стандартным размером/разрешением для цифровых камер, изображений (файлов) и дисплеев является VGA (видеографическая матрица). Размер VGA равен 640 пикселей по ширине на 480 пикселей по высоте (или наоборот в портретной ориентации). VGA имеет большее разрешение чем CIF, QCIF и QVGA, но меньшее чем SVGA, XGA и тысяча пикселей. В конкретных вариантах осуществления, таких как для компактных мобильных телефонов, цифровые камеры могут быть сконфигурированы с возможностью обеспечения QVGA (квартетный формат VGA), имеющий приблизительно 320 пикселей на 240 пикселей, который больше (более высокое разрешение), чем QCIF, но меньше, чем VGA.
Как будет понятно специалисту в данной области техники, варианты осуществления изобретения могут быть осуществлены как способ, система, система обработки данных или компьютерный программный продукт. Таким образом, настоящее изобретение может принимать вид осуществления полностью в программном обеспечении или осуществления, объединяющего аспекты программного обеспечения и аппаратного обеспечения, причем все обычно упомянуто в настоящем описании как “схема” или “модуль”. Кроме того, настоящее изобретение может принимать вид компьютерного программного продукта в доступной для использования с помощью компьютера запоминающей среде, имеющей доступный для использования с помощью компьютера программный код, осуществленный в среде. Могут быть использованы любые подходящие доступные для чтения с помощью компьютера среды, включая жесткие диски, CD-ROM, оптические запоминающие устройства, среды передачи, такие как среды, поддерживающие Internet или интрасеть, или магнитные или другие электронные запоминающие устройства.
Компьютерный программный код, предназначенный для выполнения операций настоящего изобретения, может быть записан на объектно-ориентированном языке программирования, таком как Java, Smalltalk или С++. Однако компьютерный программный код, предназначенный для выполнения операций настоящего изобретения, также может быть записан на традиционных процедурных языках программирования, таких как язык программирования “С” или в визуально ориентированной среде программирования, такой как VisualBasic.
Изобретение описано ниже частично со ссылкой на иллюстрации блок-схем последовательности этапов и/или блок-схемы способов, систем, компьютерных программных продуктов и данных и/или структуры архитектуры систем в соответствии с вариантами осуществления изобретения. Будет понятно, что каждый блок иллюстрации и/или комбинации блоков могут быть реализованы с помощью команд компьютерных программ. Эти команды компьютерных программ могут быть предоставлены в процессор универсального компьютера, специализированного компьютера или в другое программируемое устройство обработки данных, чтобы создать машину, такую, что команды, которые выполняются посредством процессора компьютера или другого программируемого устройства обработки данных, создают средство, предназначенное для реализации функций/действий, определенных в блоке или блоках.
Эти команды компьютерных программ также могут быть запомнены в доступной для чтения с помощью компьютера памяти или запоминающем устройстве, которые могут управлять компьютером или другим программируемым устройством обработки данных, чтобы действовать определенным образом, так что инструкции, запомненные в доступной для чтения с помощью компьютера памяти или запоминающем устройстве, создают предмет изготовления, включающий средство команд, которое реализует функцию/действие, определенное в блоке или блоках.
Команды компьютерных программ также могут быть загружены в компьютер или другое программируемое устройство обработки данных, чтобы вызывать последовательность операционных этапов, выполняемых в компьютере или другом программируемом устройстве, чтобы создавать реализованный с помощью компьютера процесс, такой, что команды, которые выполняются в компьютере или другом программируемом устройстве, обеспечивают этапы для реализации функций/действий, определенных в блоке или блоках.
Теперь, обращаясь к фигурам, фиг.1 иллюстрирует принцип работы триангуляционной автоматической фокусировки (AF). Буквы Р1, Р2 относятся к позициям объекта. Система 10 AF включает в себя излучатель 20 луча пятна, который проецирует световой луч 20b на целевой объект (Р1 или Р2). Излучатель 20 луча пятна может содержать LED (светодиод), лазер или другой подходящий источник света. В некоторых вариантах осуществления излучатель 20 луча пятна может работать в видимой части светового спектра. В других вариантах осуществления излучатель 20 луча пятна может быть сконфигурирован с возможностью излучения света, который находится в части светового спектра, которая является невидимой для глаза. Также могут быть использованы комбинации этих типов излучаемого света. Затем датчик камеры может быть использован в качестве приемника 30 (как будет обсуждено дополнительно ниже).
Позиция изображения пятна на поверхности 30s приемника смещается как функция расстояния объекта, как изображено с помощью другой позиции Р2, и связанного отраженного луча 20r'. Входящий сигнал приемника изменяется в зависимости от позиции изображения пятна. Данные позиции пятна могут быть выделены из сигнала приема. Примеры некоторых способов обнаружения позиции пятна, которые использованы в прошлом для других приложений, включают в себя твердотельное устройство определения местоположения (PSD), наклоненное устройство из двойных фотодиодов, механически сканирующий фотодиод, механически сканирующий светодиод и устройство, механически сканирующее препятствие.
Как изображено на фиг.1, система 10 может включать в себя асферический объектив, такой как коллимационный объектив 40. Коллимированный свет генерирует спроецированный свет на объекте. Система 10 может включать в себя второй объектив 42, который проецирует изображение объекта на поверхности приемника 30.
Сигнал пятна должен быть изолирован от сигналов, происходящих из источников, отличных от излучателя 20 луча пятна. Для излучателей 20 луча пятна светодиода и определенных типов приемников 30 отраженное инфракрасное излучение может быть изолировано с помощью модуляции импульса светодиода с определенной частотой. Затем сигнал из приемника 30 может быть отфильтрован электронным способом, чтобы подавить или удалить нежелательные или ненужные сигналы.
Как изображено на фиг.2А и фиг.2В, в некоторых вариантах осуществления датчик 30s камеры может быть использован в качестве приемника 30. Система 10 также может включать в себя объектив 45 камеры и процессор (такой как процессор цифровых сигналов) с модулем 50 анализа изображения и модулем 60 устройства позиционирования объектива, который определяет расстояние объекта до камеры и автоматически перемещает электронным способом объектив в соответственную фокусную позицию. Объектив 45 может быть сконфигурирован с возможностью перемещения в разные дискретные позиции (такие как для зонной фокусировки) или непрерывного перемещения. Как известно специалистам в данной области техники, вместо захвата фотографии на пленке, как в старых камерах, цифровая камера, включая камеры в телефоне с камерой, записывает изображение с использованием датчика, светочувствительной интегральной схемы. Датчик обычно является одним из двух основных типов, и они известны с помощью технологии, которые они используют: либо CCD (устройство с зарядовой связью), которое использует матрицу конденсаторов, или устройство CMOS (комплементарный металлооксидный полупроводник), которое использует транзисторы. Какой бы тип датчика ни был установлен, принцип работы обычно является одинаковым: свет, который проходит через объектив, падает на датчик, который имеет множество отдельных светочувствительных ячеек, и каждая ячейка реагирует на конкретную точку света, поступающего из сцены, которая должна быть сфотографирована. Действие поступающего света заключается в том, чтобы вызвать очень малые изменения в отдельных ячейках датчика, создавая шаблон, который отображает изображение, и эти изменения затем преобразуют в электрические сигналы. Электрические выходные данные из датчика затем проходят через несколько стадий обработки, так что изображение сфотографированной сцены может быть воспроизведено в видоискателе, или оно может быть запомнено в памяти телефона для дальнейшего использования.
Датчик 30s может не быть достаточно чувствительным к инфракрасному излучению, таким образом, излучатель 20 луча пятна может быть сконфигурирован с возможностью генерирования света, который находится в видимой части светового спектра. Данные изображения пятна, захваченные с помощью датчика 30s камеры, могут быть обработаны, чтобы идентифицировать местоположение пятна в изображении.
В некоторых вариантах осуществления два последовательных изображения могут быть сравнены, чтобы определить позиционные данные пятна. Одно из изображений может быть изображением пятна, а другое может быть “обычным” изображением, при этом излучатель луча пятна является неактивным, причем обычное изображение лишено пятна изображения. Два изображения могут быть сняты в любой желаемой последовательности (изображение пятна первым или вторым) и их обычно снимают относительно быстро в пределах приблизительно меньше чем 0,10 секунд друг от друга. Типичная цифровая камера может работать приблизительно с 15-30 кадрами/секунду, и два изображения могут быть захвачены в пределах приблизительно 0,033-0,067 секунд друг от друга. Чтобы облегчить сравнение изображений, экспозиция и баланс белого цвета могут быть заблокированы на одном и том же уровне для двух изображений.
Необходимо сравнивать только относительно малую часть изображений, части в области, представляющей интерес, в которых может присутствовать пятно (экономя время обработки изображения). Автоматическая фокусировка может быть выполнена относительно быстро приблизительно меньше чем через 0,5 секунд, обычно приблизительно меньше чем через 0,25 секунд, даже в полной темноте.
Фиг.3А иллюстрирует то, что ось LA объектива и ось ЕА излучателя могут быть, по существу, параллельными. В некоторых вариантах осуществления расстояние между двумя осями “D” может быть приблизительно меньше чем 3 см, обычно меньше чем 1 см. Излучатель 20 луча пятна может быть расположен вблизи объектива, и обычно расположен сверху или снизу объектива 45, как изображено на фиг.4А и фиг.4В (или как сверху, так и снизу, когда используется множество излучателей световых пятен - не изображены).
Типичные камеры мобильных телефонов имеют фокусные расстояния приблизительно 5 мм и диафрагму f1:2,8, информация о расстоянии может быть необходима, только когда объект расположен приблизительно на расстоянии 2,7 метров или ближе к камере. То есть, когда расстояние до объекта является большим, может отсутствовать обнаруживаемый сигнал пятна. В этих ситуациях объектив может быть сфокусирован на большее фокусное расстояние. В качестве альтернативы, камера 10 может включать в себя как систему AF контрастности, так и триангуляционную систему, и может (автоматически) использовать систему AF контрастности сверх определенных расстояний. Так как системы AF контрастности не требуют дополнительного аппаратного обеспечения, стоимость обеспечения обоих типов систем является относительно низкой.
Фиг.4А и фиг.4В иллюстрируют, что камера 10 может включать в себя видоискатель 47 и выборочно также может включать в себя вспышку (такую как ксеноновая вспышка) и/или датчик 49 света и сопровождающую схему управления вспышкой, предназначенную для облегчения управления экспозицией (яркостью). Камера 10 может иметь автоматическое устройство управления экспозицией, которое использует датчик 49 света, чтобы генерировать информацию о яркости объекта. Информация также может быть использована, чтобы синхронизировать длительность и/или интенсивность луча пятна. В других вариантах осуществления предварительно определенная интенсивность может быть установлена для оперативного использования. В качестве альтернативы, камера 10 может включать в себя установку интенсивности, регулируемую пользователем. Также следует заметить, что можно опустить датчик 49 света, так как информация о расстоянии из системы AF, предоставленная настоящим изобретением, может быть использована в качестве основы для управления экспозицией во время вспышки, освещающей изображения. Фиг.4В также иллюстрирует, что камера 10 может быть включена в портативное устройство 10с связи.
Фиг.5А иллюстрирует компоненты цифровой камеры 10. Как изображено, излучатель 20 луча пятна выборочно может быть во взаимодействии со схемой 23 управления интенсивностью и/или может регулировать интенсивность луча пятна. В любом случае камера может использовать схему 23, чтобы управлять интенсивностью и длительностью времени луча, проецируемого с помощью излучателя 20 луча пятна. Например, когда камера применяет вспышку, излучатель 20 луча пятна может использовать более интенсивный луч 20r пятна. Когда схема 23 камеры обнаруживает изображение без вспышки (не полное солнце), излучатель 20 луча пятна может генерировать менее интенсивный луч.
Фиг.5А также иллюстрирует, что объектив 45 камеры находится во взаимодействии с электронной запоминающей средой, предназначенной для захвата цифрового изображения 32 пятна, и модулем 51' вычисления фокусного расстояния объекта, использующего позицию пятна в изображении 51' пятна. Модуль 51' вычисления расстояния может быть сконфигурирован как часть модуля 51 обработки изображения, изображенного на фиг.2А и фиг.2В. Камера 10 также включает в себя модуль 70 фокусировки позиции объектива со средством, предназначенным для автоматического перемещения объектива 45 в соответствующую позицию фокуса, как хорошо известно специалистам в данной области техники. Камера 10 также может включать в себя систему усиления, предназначенную для усиления принятого сигнала (не изображена).
Возвращаясь опять к фиг.3А, как обсуждено выше, излучатель 20 луча пятна может содержать светодиод, обычно с коллимационной линзой 40 (фиг.1) или лазер. Камера 10 может включать в себя электронную схему, предназначенную для возбуждения фотодиода (не изображена). Лазер (такой как твердотельный лазер) может быть использован для фокусировки на больших расстояниях, так как он может управлять более высокой мощностью света и проецировать четко определенное пятно в изображении, даже на больших расстояниях.
В некоторых вариантах осуществления, как проиллюстрировано на фиг.3В, система 10 может быть сконфигурирована с возможностью генерирования множества дискретных пятен с использованием множества проецируемых лучей 20b1, 20b2. Множество пятен может обеспечить более широкую область AF. Множество пятен может быть сгенерировано несколькими способами. Например, как упомянуто выше, с помощью излучателей дискретных лучей пятен. В качестве альтернативы, один излучатель пятна луча, такой как лазер 20а, может находиться во взаимодействии с оптической системой 21, которая расщепляет луч на дискретные лучи. Оптическая система 21 может включать в себя прозрачную дифракционную решетку, которая может генерировать лучи пятен, которые расходятся, и генерировать изображения пятен с контрастным разделением в изображении приемника независимо от расстояния объекта. Другим примером оптической системы 21 является цилиндрический объектив и/или голографическая дифракционная решетка, которая может создавать изображение горизонтальной линии. Множество пятен обычно могут быть выровнены в изображении пятна (в ряд или в столбец), обычно относительно центрированного около центра изображения.
Для определенных излучателей 20 луча пятна, использующих лазеры, может быть желательным поддерживать мощность лазера низкой, обычно приблизительно в диапазоне указателей лазера, и, чтобы сделать длительность импульса лазера короткой, такой как приблизительно меньше, чем 2 миллисекунды, обычно приблизительно меньше, чем 1 миллисекунда, чтобы управлять экспозицией для глаза (глаз) субъекта. Импульс лазера может быть синхронизирован и сконфигурирован таким образом, чтобы быть достаточно коротким и с низкой энергией, чтобы уменьшить вероятность того, что камера 10 может потребовать маркировку уведомления или предупреждающего сообщения лазера.
Фиг.5В иллюстрирует примерную схему 80 управления импульсами, которая может быть сконфигурирована с возможностью управления длительностью импульса лазера. При работе ток, протекающий через резистор 81, является недостаточным, чтобы привести в действие лазерный излучатель пятна (20, фиг.3А, фиг.3В). Конденсатор 82 заряжается через резистор 81. Когда конденсатор заряжен, он может доставлять достаточную энергию для одного короткого импульса лазера. Следующий импульс лазера не может быть излучен до тех пор, пока конденсатор опять достаточно не зарядится, что потребует определенного времени в зависимости от постоянной времени (которая зависит от величины R и С) и порогового напряжения лазера.
Фиг.6 иллюстрирует примерные операции, которые могут быть использованы, чтобы выполнять автоматическую фокусировку цифровых камер в соответствии с вариантами осуществления настоящего изобретения. По меньшей мере, одно световое пятно проецируют в направлении целевого объекта (блок 100). Захватывают электронным способом первое изображение целевого объекта, имеющего, по меньшей мере, одно световое пятно (блок 105). Определяют программным способом расстояние целевого объекта до цифровой камеры с использованием изображения, по меньшей мере, с одним световым пятном (блок 110). Автоматически фокусируют объектив цифровой камеры на основании определенного расстояния (блок 115).
В некоторых вариантах осуществления изображение движущегося объекта выборочно может быть стабилизировано с использованием захваченного изображения пятна (блок 116). Процесс стабилизации может корректировать любые несовпадения, вызванные дрожанием руки пользователя или движением сцены. Подобным образом автоматическая фокусировка во время видеозаписи выборочно может содержать мониторинг последовательно генерируемых изображений пятен и удаление электронным способом световых пятен (например, с помощью замены или регулировки величин пикселей) из данных изображения в изображении пятен видеозаписи (блок 117).
В некоторых вариантах осуществления система AF может находить позицию пятен в изображениях видеозаписи, так как пятно может быть видимым каждый раз, когда выполняют измерение AF. Когда пятна распознаны в изображении (изображениях) пятна, они могут быть удалены с помощью корректировки данных изображения из соответствующего контрольного изображения (изображений). По существу, объектив не должен “рыскать” для наилучшего фокуса в режиме видео и AF слежения. Расстояние может быть проверено с регулярными интервалами, и корректировка фокуса может быть сделана только, когда система определит, что новые данные являются надежными и регулировка является подходящей. Следовательно, система может выполнять предсказываемую AF при съемке неподвижных изображений или видео последовательностей движущихся объектов. Движение движущегося объекта может быть предсказано на основании n последовательности измерений расстояния.
Фиг.7 иллюстрирует операции, которые также могут быть использованы, чтобы реализовать аспекты изобретения. Как изображено, второе изображение целевого объекта, это изображение без излученного светового пятна, может быть захвачено близко по времени захвату первого изображения (блок 125). Второе изображение может быть захвачено до или после изображения первого пятна (блок 126). Два изображения могут быть сравнены электронным способом, чтобы определить позиционные данные, связанные со световым пятном (блок 130). Расстояние целевого объекта до камеры может быть вычислено на основании определенных позиционных данных (блок 135), так как позиция пятна находится в корреляционной связи с расстоянием.
Сравнение выборочно может включать в себя регистрацию (выравнивание) автоматическим электронным способом области, представляющей интерес, в первом и втором изображениях, чтобы обеспечить стабилизацию движущегося изображения, в частности в неподвижных изображениях (блок 131). Область, представляющая интерес меньше, чем все изображение, и обычно является очень малой частью изображения, размер которой задан таким образом, чтобы окружать зону (зоны) пятна.
Фиг.8 иллюстрирует операции, которые могут быть использованы, чтобы обеспечить электронным автоматическим способом неподвижное изображение со стабилизированным движением. Операции могут быть использованы отдельно или в комбинации с другими способами изобретения (в качестве признака стабилизации движения, который не требует использования систем триангуляционной AF). Захватывают электронным способом контрольное изображение и целевое изображение, по меньшей мере, с одной областью пятна (блок 140). Область изображения пятна в целевом изображении математически преобразуют с помощью сравнения соответствующей части контрольного изображения (блок 145). На основании преобразования генерируют неподвижное изображение со стабилизированным движением (блок 150).
В некоторых вариантах осуществления целевое и контрольное изображения регистрируют на основании математического преобразования (блок 146). Величины соответствующих пикселей могут быть вычтены из зарегистрированного (выровненного) целевого и контрольного изображений, чтобы предоставить разностное изображение (блок 147). Местоположение пятна может быть определено на основании разностного изображения (блок 148).
Преобразование может смещать изображение горизонтально и вертикально, а также поворачивать при сравнении контрольного изображения с использованием алгоритма коэффициента корреляции. Коэффициенты корреляции для разных преобразований могут быть повторно вычислены до тех пор, пока не определят “оптимальное” или достаточно приемлемое преобразование. Так как преобразование выполняют в подмножестве изображения, предполагают, что разность между изображениями является относительно малой.
Следовательно, в определенных вариантах осуществления, когда регистрируют два изображения, их соответствующие значения пикселей могут быть вычтены. Результатом является разностное изображение с пятном (пятнами) на темном фоне. Конечно, могут быть использованы другие контрастности. Разностное изображение может быть сгенерировано с использованием уравнения (1).
где “Dn” представляет одну величину пикселя разностного изображения между соответствующими величинами пикселей кадра ”Xn” изображений пятна и кадра “Yn” контрольного изображения. Величины пикселей для разных цветов могут быть обработаны отдельно. Например, величина пикселя для красного, зеленого и синего цветов может быть обработана отдельно. Вычисление может быть повторено для всех пикселей в области, представляющей интерес. Нахождение позиции пятна в разностном изображении может быть более точным, если учитывают цвет пятна. Второе разностное изображение (D2) может быть вычислено с использованием уравнения (2), которое допускает, что излучатель луча пятна является источником света красного излучения (например, светодиодом). Разностное изображение D2 является монохромным изображением. Могут быть использованы альтернативные уравнения, чтобы выделить цветовую характеристику пятна (пятен).
где пиксель D2n, имеющий самую большую величину, соответствует позиции пятна в изображении.
Может быть вычислено расстояние между камерой и объектом. Уравнение 3 является примером уравнения, которое может быть использовано, чтобы вычислить расстояние. Уравнение допускает, что ось объектива камеры параллельна оси луча (лучей) или пучка (пучков) излучателя.
где смещение (n) относится к разности позиции между изображением пятна и центром изображения. Вычисленное расстояние (u) объекта до камеры зависит также от фокусного расстояния объектива камеры (f), расстояния между объективом камеры и осью (s) излучателя, смещения пятна, измеренного в ряде пикселей (n), и шага (p) пикселей.
Предполагают, что точность дополнительно может быть улучшена с помощью применения полиномиальной функции к величинам пикселей, представляющих изображение пятна, в направлении, представляющем интерес, что может позволить точность на уровне расстояний между пикселями.
Будет понятно, что сигнал пятна может быть не обнаруживаемым, когда расстояние до объекта является очень большим. В такой ситуации объектив должен быть сфокусирован на гиперфокусном расстоянии. Это должно быть удовлетворительно, так как можно допустить, что никакой отклик сигнала не может быть коррелирован с очень большим расстоянием. В качестве альтернативы, в такой ситуации может быть использована система AF контрастности.
В типичной камере мобильного телефона, имеющей фокусное расстояние 5 мм и диафрагму f1:2,8, информация о расстоянии может быть подходящей только в случаях, когда объект находится приблизительно ближе, чем 3 метра (например, 2,7 метра или ближе). Вычисленное расстояние объекта соответствует определенной позиции фокусировки объектива камеры. Объектив перемещают в правильную позицию, с использованием информации о расстоянии. Триангуляционный способ определения расстояний является подходящим для автоматической фокусировки объектива цифровой камеры.
Фиг.9 иллюстрирует примерную систему обработки данных, которая может быть включена в устройства, работающие в соответствии с некоторыми вариантами осуществления настоящего изобретения. Как проиллюстрировано на фиг.9, система обработки данных, которая может быть использована, чтобы выполнять или управлять операциями, включает в себя процессор 200, память 236 и схемы 246 ввода/вывода. Система обработки данных может быть включена в состав цифровой камеры и/или портативного устройства связи или тому подобного. Процессор 200 взаимодействует с памятью 236 через адресную шину 248/шину 248 данных и взаимодействует с входными/выходными схемами 246 через адресную шину 249/шину 249 данных. Схемы 246 ввода/вывода могут быть использованы, чтобы передавать информацию между памятью 236 (памятью и/или запоминающей средой) и другим компонентом. Эти компоненты могут быть традиционными компонентами, такими как компоненты, используемые во многих традиционных системах обработки данных, и/или компонентами обработки изображения, устройством позиционирования объектива и тому подобными, которые могут быть сконфигурированы с возможностью работы, как описано в настоящей заявке.
В частности, процессор 200 может быть коммерчески доступным или заказным микропроцессором, микроконтроллером, процессором цифровых сигналов или тому подобным. Память 236 может включать в себя любые запоминающие устройства и/или запоминающие среды, содержащие программное обеспечение и данные, используемые для того, чтобы реализовывать функциональные возможности схем или модулей, используемых в соответствии с вариантами осуществления настоящего изобретения. Память 236 может включать в себя следующие типы устройств: кэш-память, ROM, PROM, EPROM, EEPROM, флэш-память, SRAM, DRAM и магнитный диск, но не ограничена ими. В некоторых вариантах осуществления настоящего изобретения память 236 может быть ассоциативной памятью (САМ).
Как дополнительно проиллюстрировано на фиг.9, память 236 (и/или запоминающая среда) может включать в себя несколько категорий программного обеспечения и данные, используемых в системе обработки данных: операционная система 252, прикладные программы 254, драйверы 258 устройств ввода/вывода; и данные 256. Как будет понятно специалистам в данной области техники, операционная система 252 может быть любой операционной системой, подходящей для использования с системой обработки данных, такой как операционные системы IBMR, OS/2®, AIX® или zOS® или операционные системы Microsoft® Windows®95, Windows98, Windows2000 или WindowsXP Unix или LinuxTM. IBM, OS/2, AIX или zOS являются товарными знаками Международной корпорации машин для бизнеса в Соединенных Штатах, других странах или и там, и там, в то время как Linux является товарным знаком Linus Torvalds в Соединенных Штатах, других странах и там, и там. Драйверы 258 устройств ввода/вывода обычно включают в себя программы программного обеспечения, доступные через операционную систему 252 с помощью прикладной программы 254, чтобы взаимодействовать с устройствами, такими как схемы 246 ввода/вывода и определенные компоненты памяти 236. Прикладные программы 254 являются примерами программ, которые реализуют различные признаки схем и модулей в соответствии с некоторыми вариантами осуществления настоящего изобретения. Наконец, данные 256 представляют статические и динамические данные, используемые прикладными программами 254, операционной системой 252, драйверами 258 устройств ввода/вывода и другими программами программного обеспечения, находящимися в памяти 236.
Система 116 обработки данных может включать в себя несколько модулей, включая модуль 220 триангуляционной AF (использующий показатель расстояния, чтобы фокусировать объектив), модуль 224 определения позиции пятна, модуль 225 захвата изображения и регистрации и тому подобные. Модули могут быть сконфигурированы как один модуль, или иначе дополнительные модули могут быть сконфигурированы, чтобы реализовывать операции, описанные в настоящей заявке.
Несмотря на то, что настоящее изобретение проиллюстрировано со ссылкой на прикладные программы 220, 224, 225 на фиг.9, как будет понятно специалистам в данной области техники, другие конфигурации находятся в пределах рамок объема настоящего изобретения. Например, вместо того, чтобы являться прикладной программой 254, эти схемы и модули также могут быть включены в состав операционной системы 252 или другого такого логического разделения системы обработки данных. Кроме того, несмотря на то, что прикладные программы 220, 224, 234 на фиг.9 проиллюстрированы в одной системе обработки данных, как будет понятно специалистам в данной области техники, такие функциональные средства могут быть распределены между одной или более системами обработки данных. Следовательно, настоящее изобретение не должно быть истолковано как ограниченное конфигурациями, проиллюстрированными на фиг.9, но может быть обеспечено с помощью других расположений и/или разделений функций между системами обработки данных. Например, несмотря на то, что фиг.9 проиллюстрирована, как имеющая различные схемы и модули, одна или более из этих схем или модулей могут быть объединены или дополнительно разделены, не выходя за рамки объема настоящего изобретения.
Фиг.10А является цифровым контрольным изображением 300 целевого объекта. Фиг 10В является цифровым изображением 310 пятна того же самого целевого объекта. Оба изображения имеют одинаковый размер, равный 240 на 320 пикселей (QVGA). На фиг.10В небольшое пятно 311, сгенерированное с помощью излучателя луча пятна, является видимым обычно в среднем местоположении в изображении 310 пятна.
Фиг.11А является разностным изображением 320 изображения 310 пятна и контрольного изображения 300, изображенных на фиг.10В и фиг.10А, соответственно. Разностное изображение 320 было обработано с использованием изображений и компьютерной программы, использующей уравнение (1). Алгоритм триангуляционной AF работает достаточно хорошо в разрешении QVGA и может быть использован относительно данных изображения видоискателя, и не требует, чтобы камера работала в режиме высокого разрешения.
Фиг.12А является цифровым изображением 400с, снятым с использованием традиционной системы AF, основанной на контрастности, которая иногда имеет трудность фокусировки в правильной части изображения. В этом примере задний план вносит больше деталей изображения, чем птица на переднем плане, и система может быть обманута таким образом, чтобы фокусироваться на заднем плане. Следовательно, проблемы фокусировки могут возникать, когда широкую фокусировку применяют в системах AF контрастности. Как изображено, например, если область фокусировки охватывает объект с разбросанными деталями на переднем плане, а задний план содержит много деталей (таких как деревья, лесистые области или структуру, подобную стене здания), система контрастности может решить сфокусироваться на заднем плане, а не на переднем плане.
Фиг.12В иллюстрирует цифровое изображение 400s пятна, снятого с использованием системы триангуляционной AF. Использование шаблона с множеством пятен может предусматривать относительно широкую фокусировку с использованием триангуляционного способа и множества пространственно дискретных пятен 411. Как изображено, пятна (изображенные как три, но могут быть использованы два, четыре или больше) расположены с промежутками горизонтально около центра изображения. Также могут быть использованы вертикальные и угловые шаблоны пятен. Следовательно, изображение 400s может быть сегментировано на множество областей, представляющих интерес, одна область для каждого пятна, для того чтобы учитывать множество пятен 411. Каждая область может быть отдельно запрошена с использованием алгоритмов и уравнений, описанных в настоящей заявке. Может быть вычислена позиция пятна для каждого пятна 411 в каждой области, представляющей интерес. Позиция пятна, соответствующая наименьшей величине расстояния, может быть использована для фокусировки, так как может быть сделано допущение, что часть объекта, расположенного ближе всего к камере, является частью сцены, на которую наиболее вероятно пользователь желает сфокусироваться.
Система триангуляционной AF может проводить различие между объектом, расположенным на разных расстояниях. В этом примере только центральные и правые пятна будут давать в результате обнаруживаемое отражение, так как левое пятно связано с дополнительным пятном, имеющим увеличенную величину расстояния.
Масштаб зонной фокусировки и глубина поля могут быть выполнены с использованием триангуляционных данных. Способ управления действием фокусировки объектива дискретными шагами, как противоположный непрерывному перемещению, обычно называют “зонной фокусировкой”. Зонная фокусировка основана на глубине поля используемого объектива. Масштаб зонной фокусировки может быть вычислен из ряда частей гиперфокусного расстояния. Гиперфокусное расстояние вычисляют с использованием уравнения 4.
где “h” - гиперфокусное расстояние, f - фокусное расстояние объектива, N - диафрагма объектива, а С - круг беспорядка (максимально допустимый круг размытости).
Фиг.13 является иллюстрацией изображений пятен в изображении QVGA с увеличенной частью пятна справа от изображения. В этом примере допущено, что местоположение излучателя луча пятна находится под объективом камеры. Таблица 1 иллюстрирует пример масштаба зонной фокусировки и вычисление шагов пикселей позиции пятна в захваченном изображении, изображенном на фиг.13. Расстояния ФОКУС, БЛИЗКО, ДАЛЕКО даны в метрах. В этом примере, пятна расположены в одном и том же горизонтальном пикселе (5) и изменяются в вертикальном направлении относительно центра с шагами из 3 пикселей от 1 до 43 пикселей.
Таблица зонной фокусировки с использованием позиции пятна
Таблица 1 иллюстрирует зависимость между математикой фокусировки и триангуляции. Масштаб зонной фокусировки составляют из гиперфокусного расстояния. Объектив, который сфокусирован на гиперфокусном расстоянии, будет иметь глубину поля, находящуюся в диапазоне от h/2 до бесконечности. Следующие шаги масштаба составляют с помощью деления “h” на нечетные целые числа. Любой шаг в масштабе будет иметь глубину поля, простирающуюся между следующим и предыдущим шагами. Столбец “ПИКСЕЛИ” изображает, сколько пикселей от центра изображения пятна будут видимыми на данном расстоянии. Столбец “ШАГ” изображает, сколько пикселей имеется между следующим и предыдущим шагами. Пример основан на цифровой камере, имеющей объектив с фокусным расстоянием 5 мм и скорость 1:2,8. Датчик камеры является матрицей из 2 миллионов пикселей с шагом пикселей, равным 3 мкм. Пятно обнаруживают в изображении видоискателя, имеющего разрешение 240×320 (QVGA). В этом примере расстояние между осью объектива камеры и осью луча пятна равно 13,67 мм. Шаги между позициями пятен, измеренные в пикселях, являются эквидистантными, делая конструкцию и математическое приложение относительно простыми. Разрешение шага, равное 3 пикселям, обеспечивает достаточное разрешение для этого примера.
Фиг.14 является примерным листингом исходного кода, который может быть использован, чтобы выполнять операции в соответствии с некоторыми вариантами осуществления настоящего изобретения. Этот пример кода не включает в себя регистрацию изображения. Следует опять заметить, что ищут/запрашивают только область/области, представляющие интерес. Код сконфигурирован с возможностью вычитания контрольного изображения из изображения пятна, чтобы определять позицию пятна.
В заключение, некоторые варианты осуществления настоящего изобретения могут обеспечить одно или более из следующего: увеличенную скорость автоматической фокусировки, стабилизацию изображения, могут работать в полной темноте, могут делать возможным AF непрерывного слежения, могут улучшить точность фокусировки, могут уменьшить стоимость относительно традиционных триангуляционных систем, могут быть реализованы в относительно малом размере.
Настоящее изобретение также может быть реализовано в других типах мобильных электронных устройств, которые включают в себя камеру, не выходя за рамки объема настоящего изобретения. Например, мобильное электронное устройство может включать в себя RF радио и камеру и/или оно может включать в себя терминал мобильной связи, такой как спутниковый или сотовый радиотелефон, и устройство связи. Телефон камеры может быть сконфигурирован с возможностью передачи изображений через беспроводной интерфейс, такой как RF интерфейс сотовой связи, и может отображать изображения на дисплее. Телефон камеры также может быть сконфигурирован с возможностью генерирования аудио сигнала из сигналов связи, которые принимают через беспроводной интерфейс. Передача цифровых изображений и генерирование аудио сигналов из принятых сигналов связи может быть выполнено с помощью телефона камеры традиционным способом.
Многие изменения и модификации могут быть сделаны в предпочтительных вариантах осуществления, по существу, не выходя из принципов настоящего изобретения. Таким образом, подразумевается, что все такие изменения и/или модификации должны быть включены в рамки объема настоящего изобретения, как определено в формуле изобретения. В формуле изобретения пункты “средство плюс функция” предназначены охватывать структуры, описанные в настоящей заявке, как выполняющие упомянутые функции, и не только структурные эквиваленты, но также эквивалентные структуры. Следовательно, следует понимать, что предыдущее является примером настоящего изобретения и не должно быть истолковано, как ограниченное раскрытыми конкретными вариантами осуществления, и, подразумевается, что модификации в раскрытые варианты осуществления, а также другие варианты осуществления, должны быть включены в рамки объема, определенные прилагаемой формулой изобретения. Изобретение определено с помощью следующей формулы изобретения, причем эквиваленты формулы изобретения включены в нее.
Изобретение относится к цифровым камерам, а именно к системам фокусировки камер. Обеспечение возможности триангуляционной автоматической фокусировки камеры. Результат достигается тем, что проецируют, по меньшей мере, одно световое пятно на целевой объект; выполняют захват первого изображения целевого объекта, имеющего, по меньшей мере, одно световое пятно, в ответ на этап, на котором проецируют световое пятно; определяют программным способом расстояние целевого объекта от цифровой камеры с использованием пятна изображения, по меньшей мере, с одним световым пятном и показателя триангуляции расстояния, по меньшей мере, одного светового пятна в изображении; и автоматически фокусируют объектив цифровой камеры на основании этапа, на котором определяют расстояние целевого объекта от цифровой камеры. 4 н. и 35 з.п. ф-лы, 1 табл., 21 ил.
1. Способ автоматической фокусировки цифровой камеры в режиме записи неподвижного изображения и/или видео, содержащий этапы, на которых:
проецируют, по меньшей мере, одно световое пятно на целевой объект;
выполняют захват первого изображения целевого объекта, имеющего, по меньшей мере, одно световое пятно, в ответ на этап, на котором проецируют световое пятно;
определяют программным способом расстояние целевого объекта от цифровой камеры с использованием пятна изображения, по меньшей мере, с одним световым пятном и показателя триангуляции расстояния, по меньшей мере, одного светового пятна в изображении; и
автоматически фокусируют объектив цифровой камеры на основании этапа, на котором определяют расстояние целевого объекта от цифровой камеры.
2. Способ по п.1, в котором, по меньшей мере, одно световое пятно является множеством пространственно дискретных световых пятен, причем способ также содержит этапы, на которых:
выполняют захват второго контрольного изображения целевого объекта, лишенного излученного светового пятна, ближайший по времени захвату первого изображения, во время когда не осуществляют проецирование множества пространственно дискретных световых пятен на целевой объект;
сравнивают электронным способом область, представляющую интерес, в первом и втором изображении, чтобы определить позиционные данные, связанные со световым пятном в первом изображении;
генерируют электронным способом разностное изображение из величин пикселей, полученных с помощью вычитания величин пикселей первого изображения и второго контрольного изображения, причем используют цвет пятна в разностном изображении, чтобы найти положение светового пятна; и
вычисляют электронным способом множество расстояний от объекта до пятна, причем одно расстояние для каждого из множества пространственно дискретных пятен, при этом на этапе, на котором автоматически фокусируют, используют пятно, вычисленное как имеющее ближайшее расстояние объекта до камеры, чтобы установить фокусное расстояние для изображения.
3. Способ по п.2, в котором цифровая камера сконфигурирована с возможностью захвата первого и второго изображений в пределах приблизительно меньше, чем 0,67 с друг от друга.
4. Способ по п.1, в котором цифровая камера содержит объектив, который перемещается в сфокусированную позицию в пределах приблизительно 0,033 с, после того, как получено первое изображение, чтобы выполнить этап, на котором автоматически фокусируют объектив цифровой камеры.
5. Способ по п.1, содержащий также этапы, на которых:
автоматически фокусируют объектив цифровой камеры во время видеозаписи с помощью мониторинга последовательно генерируемых проецируемых световых пятен в изображениях; и
удаляют электронным способом световые пятна из данных изображения в изображениях видеозаписи и корректируют данные изображения из соответствующих местоположений пикселей пятен из контрольного изображения во время поточной передачи видео, чтобы обеспечить изображения видеозаписи без световых пятен.
6. Способ по п.1, содержащий также этап, на котором выполняют захват множества различных изображений, имеющих, по меньшей мере, одно световое пятно, и выполняют корреляцию местоположения, по меньшей мере, одного светового пятна в раличных изображениях, чтобы автоматически стабилизировать фокус движущегося объекта в неподвижном изображении с использованием захваченного изображения пятна.
7. Способ по п.1, в котором этап, на котором проецируют световое пятно, содержит этап, на котором излучают свет из источника света в видимой части светового спектра.
8. Способ по п.1, в котором этап, на котором выполняют захват изображения, содержит этап, на котором выполняют захват сигнала изображения с использованием датчика цифровой камеры, который сконфигурирован с возможностью интегрирования сигнала с помощью детектирования фотонов в течение времени экспозиции изображения.
9. Способ по п.2, в котором захват первого и второго изображений выполняют с использованием одной и той же установки экспозиции и одной и той же установки баланса белого цвета.
10. Способ по п.1, в котором проецирование, по меньшей мере, одного пятна выполняют, по существу, с помощью одновременного проецирования множества дискретных пространственно разделенных пятен.
11. Способ по п.10, содержащий также этап, на котором вычисляют множество расстояний объекта до пятна, одно расстояние для каждого из множества отдельных пятен, причем этап, на котором автоматически фокусируют объектив цифровой камеры, использует пятно, вычисленное, как имеющее ближайшее расстояние объекта до камеры, чтобы установить фокусное расстояние для изображения.
12. Способ по п.2, содержащий также этап, на котором автоматически выполняют корреляцию и регистрацию электронным способом области, представляющей интерес, до этапа, на котором генерируют разностное изображение, чтобы, таким образом, обеспечить стабилизацию изображения.
13. Цифровая камера, содержащая систему автоматической фокусировки, сконфигурированную с возможностью проецирования, по меньшей мере, одного светового луча, который создает множество световых пятен в изображении светового пятна, причем система автоматической фокусировки сконфигурирована с возможностью идентификации местоположения световых пятен в изображении, затем вычисления величины расстояния для каждого из множества световых пятен в изображении пятна и выбора электронным способом измерения расстояния, связанного со световым пятном, имеющим наименьшую величину расстояния, чтобы сфокусировать цифровую камеру.
14. Цифровая камера по п.13, которая образует часть портативного электронного устройства связи, имеющего терминал мобильной связи.
15. Цифровая камера по п.14, которая содержит излучатель луча пятна и объектив камеры, расположенный вблизи излучателя луча пятна, причем излучатель луча пятна сконфигурирован с возможностью проецирования, по меньшей мере, одного светового луча, чтобы создать световые пятна на целевом объекте, который может быть захвачен в цифровом изображении целевого объекта, снятого с помощью камеры.
16. Цифровая камера по п.15, содержащая также датчик изображения камеры, который находится во взаимодействии с объективом камеры, причем датчик изображения камеры сконфигурирован с возможностью работы в качестве приемника в системе автоматической фокусировки.
17. Цифровая камера по п.15, содержащая также датчик изображения цифровой камеры, сконфигурированный с возможностью взаимодействия с излучателем луча пятна.
18. Цифровая камера по п.17, содержащая также схему управления автоматической экспозицией, которая находится во взаимодействии с излучателем луча пятна, чтобы управлять длительностью и/или интенсивностью проецируемого пятна.
19. Цифровая камера по п.15, содержащая также коллимационный объектив в маршруте передачи света, сконфигурированный с возможностью коллимации света из излучателя луча пятна.
20. Цифровая камера по п.15, в которой излучатель луча пятна сконфигурирован с возможностью генерирования множества пространственно разделенных пятен на объекте, который захватывают в изображении, причем, по меньшей мере, одно пятно в захваченном изображении является размером, меньше пикселя.
21. Цифровая камера по п.20, содержащая также одно или более из следующего: прозрачную дифракционную решетку, цилиндрический объектив или топографическую дифракционную решетку, которые находятся во взаимодействии с излучателем луча пятна, чтобы, по существу, одновременно генерировать множество пятен в изображении.
22. Цифровая камера по п.14, в которой излучатель луча пятна сконфигурирован с возможностью работы с импульсом луча пятна, имеющим длительность пятна приблизительно 1 мс или меньше.
23. Цифровая камера по п.14, содержащая также систему автоматической фокусировки контрастности.
24. Цифровая камера по п.14, содержащая также схему управления интенсивностью света, которая находится во взаимодействии с излучателем луча пятна.
25. Цифровая камера по п.14, в которой излучатель луча пятна содержит лазер, а камера также содержит схему управления импульсами.
26. Цифровая камера по п.14, в которой излучатель луча пятна проецирует свет, который находится в видимой части светового спектра.
27. Цифровая камера по п.14, содержащая также устройство управления автоматической экспозицией, используемое для того, чтобы синхронизировать длительность спроецированного пятна и чтобы осуществлять мониторинг яркости объекта целевого изображения.
28. Цифровая камера по п.15, содержащая также схему управления, которая сконфигурирована с возможностью выборочного управления камерой в режиме камеры неподвижного изображения и в режиме видеозаписи, причем схема управления сконфигурирована с возможностью управления излучением импульса луча пятна в течение режимов неподвижного изображения и видеозаписи, и причем схема управления сконфигурирована с возможностью предотвращения излучения импульса луча пятна в течение захвата выбранных изображений, и причем схема управления сконфигурирована с возможностью управления камерой таким образом, чтобы корректировать изображения пятен с помощью данных пикселей из контрольных изображений во время видеозаписи таким образом, что световые пятна не изображаются в видеоизображениях, выведенных пользователю.
29. Цифровая камера по п.15, в которой устройство сконфигурировано с возможностью автоматического сравнения электронным способом области, представляющей интерес, между запомненными электронным способом последовательными первым и вторым изображениями, чтобы определить позиционные данные, связанные со световым пятном, сгенерированным с помощью излучателя луча пятна, затем автоматического вычисления электронным способом расстояния целевого объекта от камеры на основании определенных позиционных данных и регулировки позиции объектива в соответствующую фокусную позицию на основании вычисленного расстояния.
30. Цифровая камера по п.29 сконфигурирована с возможностью автоматической регистрации и/или выравнивания электронным способом области, представляющей интерес, до этапа, на котором генерируют разностное изображение, чтобы, таким образом, обеспечить стабилизацию изображения.
31. Машиночитаемый носитель, имеющий считываемый компьютером программный код, хранящийся на нем, для управления системой автоматической фокусировки в цифровой камере, причем упомянутый программный код содержит:
доступный для чтения с помощью компьютера программный код, который управляет с возможностью регулирования излучателем луча пятна, чтобы обеспечить множество пятен света, которые являются видимыми в захваченном цифровом изображении;
доступный для чтения с помощью компьютера программный код, который вычисляет показатель расстояния, по меньшей мере, для одного из множества пятен, которые являются видимыми в захваченном цифровом изображении; и
доступный для чтения с помощью компьютера программный код, который выбирает, по меньшей мере, одно из измеренных расстояний пятен для фокусировки электронным способом цифровой камеры.
32. Машиночитаемый носитель по п.31, содержащий также доступный для чтения с помощью компьютера программный код, который автоматически регистрирует и/или выравнивает электронным способом область, представляющую интерес, до этапа, на котором генерируют разностное изображение, чтобы, таким образом, обеспечить стабилизацию изображения.
33. Портативное устройство связи с терминалом мобильной связи и цифровой камерой, сконфигурированное для выполнения способа по любому из пп.1-12.
34. Устройство по п.33, в котором камера сконфигурирована с возможностью отображения скорректированного изображения, которое модифицирует изображение светового пятна с помощью соответствующих данных изображения из контрольного изображения.
35. Устройство по п.33, содержащее также излучатель светового пятна, содержащий монохроматический свет в видимой части светового спектра.
36. Устройство по п.33, содержащее также схему анализа изображения, сконфигурированную с возможностью излучения разностного изображения, чтобы определять местоположения светового пятна в изображении светового пятна.
37. Устройство по п.36, содержащее также модуль анализа изображения, сконфигурированный с возможностью определения разностного изображения с использованием уравнения
Dn=Xn Yn,
где Dn представляет одну величину пикселя разностного изображения между соответствующими величинами пикселей кадра Xn изображения пятна и кадра Yn контрольного изображения, и уравнение используют, чтобы вычислить все пиксели в области, представляющей интерес, в кадрах изображения.
38. Устройство по п.37, в котором модуль анализа изображения сконфигурирован с возможностью учета цвета пятна, чтобы идентифицировать местоположение пятна.
39. Устройство по п.35, в котором излучатель светового пятна сконфигурирован с возможностью генерирования красного света в видимой части светового спектра, чтобы генерировать световые пятна в изображении, и в котором устройство содержит схему, сконфигурированную с возможностью генерирования монохромного разностного изображения, чтобы определять местоположение пятен в соответственном кадре изображения, затем вычислять показатель расстояния обнаруженных пятен и выбирать величину ближайшего расстояния, чтобы перемещать объектив камеры в это фокусное расстояние.
| US 2004245430 A1 (KONISHI KAZUKI), 2004.12.09 | |||
| US 2003043290 A1 (MEGA CYIPS CORP.), 2003.03.06 | |||
| СПОСОБ ИМПУЛЬСНОГО МАГНИТНОГО КОНТРОЛЯ ТЕМПЕРАТУРЫ ОТПУСКА ИЗДЕЛИЙ ИЗ СРЕДНЕУГЛЕРОДИСТЫХ СТАЛЕЙ | 2008 |
|
RU2376592C1 |
| ВИЗУАЛЬНОЕ УСТРОЙСТВО ОТОБРАЖЕНИЯ И СПОСОБ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ | 1995 |
|
RU2168192C2 |
