СПОСОБ ФОТОГРАФИРОВАНИЯ И ЭЛЕКТРОННОЕ УСТРОЙСТВО Российский патент 2022 года по МПК H04N5/232 

Область техники, к которой относится изобретение

Настоящая заявка относится к области технологий обработки изображений и, в частности, к способу фотографирования и к электронному устройству.

Уровень техники

Электронное устройство (например, мобильный телефон или планшет) обычно интегрируется с фотографическим компонентом (например, камерой) и может быть выполнено с возможностью реализации таких функций, как фотографирование и видеозапись. После того, как пользователь включает камеру, электронное устройство может отображать в окне видоискателя в реальном времени полученное камерой съемочное изображение. Кроме того, пользователь может выбирать фокусировку съемочного изображения вручную, так что мобильный телефон может выполнять фокусировку, основываясь на фокусировке, выбранной пользователем.

В настоящее время некоторые мобильные телефоны обеспечивают функцию автоматического слежения за фокусировкой во время фотографирования. Например, если пользователь выбирает цель фотографирования в качестве объекта фокусировки в съемочном изображении, мобильный телефон может извлечь признак изображения цели фотографирования и непрерывно следить за целью фотографирования в съемочном изображении, основываясь на признаке изображения. Таким образом, когда цель фотографирования находится в состоянии движения, мобильный телефон может следить за целью фотографирования в съемочном изображении. Однако, когда цель фотографирования выходит за пределы диапазона фотографирования камеры, цель фотографирования также покидает съемочное изображение мобильного телефона. В этом случае мобильный телефон определяет новую цель фотографирования в текущем съемочном изображении, чтобы выполнить фокусировку. Следовательно, первоначально прослеживавшаяся цель фотографирования теряется. Пользователю при фотографировании движущегося объекта необходимо часто выполнять фокусировку, что плохо влияет на практику фотографирования.

Раскрытие сущности изобретения

Настоящая заявка обеспечивает способ фотографирования и электронное устройство, так чтобы цель фотографирования могла продолжать прослеживаться после того, как цель фотографирования возвращается в съемочное изображение, чтобы повысить точность фокусировки, выполняемой во время фотографирования движущегося объекта, и улучшить практику фотографирования пользователя.

Чтобы решить упомянутую задачу, в настоящей заявке используются нижеследующие технические решения.

В соответствии с первым подходом, настоящая заявка обеспечивает способ фотографирования, содержащий этапы, на которых: электронное устройство получает первое съемочное изображение, например, получает первое съемочное изображение, используя камеру, где первое съемочное изображение содержит первый фотографируемый объект; при отображении первого съемочного изображения электронное устройство может определить в качестве цели фотографирования, которая должна прослеживаться, первый фотографируемый объект для слежения; электронное устройство может дополнительно получить второе съемочное изображение, причем, если второе съемочное изображение не содержит первый фотографируемый объект, это указывает, что первый фотографируемый объект покинул текущее съемочное изображение и электронное устройство может продолжать отображать второе съемочное изображение; и в дальнейшем, после того, как электронное устройство получает третье съемочное изображение, если третье съемочное изображение содержит первый фотографируемый объект, это указывает, что первый фотографируемый объект вернулся в текущее съемочное изображение. В этом случае, когда отображается третье съемочное изображение, электронное устройство может повторно определить первый фотографируемый объект в качестве цели фотографирования для непрерывного слежения.

Другими словами, после того, как электронное устройство определяет фотографируемый объект в качестве цели фотографирования, электронное устройство может запомнить ранее определенную цель фотографирования. Даже если фотографируемый объект покидает съемочное изображение электронного устройства, в период времени, когда фотографируемый объект снова появляется в съемочном изображении, электронное устройство может повторно распознать фотографируемый объект как цель фотографирования в текущем съемочном изображении, чтобы непрерывно следить за фотографируемым объектом. Поэтому точность фокусировки, выполненной во время фотографирования движущегося объекта, и практика фотографирования улучшаются.

Согласно способу возможного построения способа, прежде чем электронное устройство получает первое съемочное изображение, способ дополнительно содержит этапы, на которых: обнаруживают посредством электронного устройства операцию пользователя по включению камеры или началу видеозаписи и в ответ на эту операцию создают посредством электронного устройства модель признаков, основываясь на N (N > 1) съемочных изображениях, полученных камерой, где модель признаков содержит M (M > 1) целей фотографирования и каждая цель фотографирования появлялся по меньшей мере на одном из N съемочных изображений. Другими словами, каждый раз, когда электронное устройство выполняет фотографирование, электронное устройство может накапливать в модели признаков множество целей фотографирования, которые появляются в некотором периоде времени, и цели фотографирования в модели признаков могут использоваться в качестве основы для определения электронным устройством цели слежения.

Согласно возможному построению способа, способ, в котором электронное устройство определяет первый фотографируемый объект в качестве цели слежения для слежения, содержит этапы, на которых: определяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения, если первый фотографируемый объект совпадает с первой целью фотографирования, где первая цель фотографирования является одним из M целей фотографирования. Таким образом, каждый раз, когда на текущем съемочном изображении обнаруживается цель фотографирования, которая должна прослеживаться, если фотографируемый объект в текущем съемочном изображении совпадает с хранящейся целью фотографирования, электронное устройство может использовать фотографируемый объект в качестве цели слежения для слежения и фокусировки. Поэтому точность слежения за целью электронным устройством во время фотографирования повышается.

Согласно возможному построению способа, после того, как электронное устройство определяет первый фотографируемый объект в качестве цели слежения, способ дополнительно содержит этапы, на которых: обновляют посредством электронного устройства признак изображения первой цели фотографирования в модели признаков, основываясь на признаке изображения первого фотографируемого объекта. Таким образом, каждая цель фотографирования в модели признаков может обновляться в реальном времени с изменением контента фотографирования, так чтобы каждая цель фотографирования в модели признаков мог точно отражать, в максимально возможной степени, множество людей или объектов, на которые пользователь обращает внимание в текущем процессе фотографирования.

Согласно возможному построению способа, второе съемочное изображение может содержать второй фотографируемый объект и когда электронное устройство отображает второе съемочное изображение, способ дополнительно содержит этап, на котором: если второй фотографируемый объект совпадает со второй целью фотографирования, определяют посредством электронного устройства второй фотографируемый объект в качестве цели слежения для слежения, где вторая цель фотографирования является одной из М целей фотографирования, отличной от первой цели фотографирования. Другими словами, электронное устройство в процессе фотографирования может переключаться между множеством целей слежения.

Согласно возможному построению способа, после того, как электронное устройство получает второе съемочное изображение, способ дополнительно содержит этап, на котором: если второй фотографируемый объект не совпадает ни с одной из М целей фотографирования, добавляют посредством электронного устройства второй фотографируемый объект в модель признаков в качестве новой цели фотографирования и удаляют цель фотографирования, которая создан самой ранней в модели признаков. Таким образом, обновленная модель признаков может непрерывно записывать множество целей фотографирования, которым пользователь уделяет больше внимания в последнем промежутке времени при текущем процессе фотографирования.

При возможном построении способа, третье съемочное изображение может дополнительно содержать второй фотографируемый объект и упомянутое электронное устройство повторно определяет первый фотографируемый объект в качестве цели слежения для непрерывного слежения, и способ содержит этапы, на которых: определяют посредством электронного устройства, что первая степень совпадения между первым фотографируемым объектом и первой целью фотографирования из числа М целей фотографирования является самым высокой; определяют посредством электронного устройства, что вторая степень совпадения между вторым фотографируемым объектом и второй целью фотографирования из числа М целей фотографирования является самым высокой; и если первая степень совпадения больше чем вторая степень совпадения, и первая степень совпадения больше порога степени совпадения, переопределяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения для непрерывного слежения.

При возможном построении способа, после того, как электронное устройство определяет первый фотографируемый объект в качестве цели слежеиия для слежения, способ дополнительно содержит этапы, на которых: записывают посредством электронного устройства момент ухода первого фотографируемого объекта, если первый фотографируемый объект не прослеживается в текущем съемочном изображении; и после того, как электронное устройство получает второе съемочное изображение, способ дополнительно содержит этапы, на которых: если время с момента ухода до текущего момента меньше заданного значения, это указывает, что фокус, который пользователь реально хочет отследить, вероятно, все еще нацелен на первый фотографируемый объект и поэтому электронное устройство может прекратить распознавание объекта во втором съемочном изображении; или если время от момента ухода до текущего момента больше или равно заданному значению, это указывает, что первый фотографируемый объект покидает съемочное изображение на относительно длительное время и электронное устройство может повторно распознать объект слежения во втором съемочном изображении.

При возможном построении способа, когда электронное устройство отображает первое съемочное изображение, способ дополнительно содержит этап, на котором: маркируют посредством электронного устройства характерную точку первого фотографируемого объекта в первом съемочном изображении; и когда электронное устройство отображает третье съемочное изображение, способ дополнительно содержит этап, на котором: маркируют посредством электронного устройства характерную точку первого фотографируемого объекта на третьем съемочном изображении. Характерная точка показывает подробности цели слежения. Используя характерную точку, пользователь может более легко и ясно наблюдать состояние движения цели слежения, так чтобы пользователь мог фокусировать и получать снимок цели слежения, чтобы улучшить практику фотографирования пользователя.

В соответствии со вторым подходом, настоящая заявка обеспечивает электронное устройство, содержащее сенсорный экран, одну или более камер, один или более процессоров, одну или более памятей и одну или более компьютерных программ. Процессор связывается с камерой, сенсорным экраном и памятью и одна или более компьютерных программ хранятся в памяти. При работе электронного устройства процессор выполняет одну или более компьютерных программ, хранящихся в памяти, так чтобы электронное устройство выполняло способ фотографирования, соответствующий любому способу построения при первом подходе.

В соответствии с третьим подходом, настоящая заявка обеспечивает носитель компьютерного запоминающего устройства, содержащий компьютерные команды. Когда компьютерные команды работают на электронном устройстве, электронное устройство способно выполнять способ фотографирования, соответствующий любому способу построения при первом подходе.

В соответствии с четвертым подходом, настоящая заявка обеспечивает компьютерный программный продукт. Когда компьютерный программный продукт работает на электронном устройстве, электронное устройство способно выполнять способ фотографирования, соответствующий любому способу построения при первом подходе.

Следует понимать, что электронное устройство, используемое во втором подходе, носитель запоминающего устройства, используемый в третьем подходе, и компьютерный программный продукт, используемый в четвертом подходе, представленные выше, все выполнены с возможностью осуществления соответствующего способа, описанного выше. Поэтому для достижения предпочтительных результатов, которые могут быть достигнуты электронным устройством, носителем компьютерного запоминающего устройства и компьютерным программным продуктом, обращайтесь к предпочтительным результатам соответствующего способа, представленного выше. Подробности здесь повторно не описываются.

Краткое описание чертежей

Фиг. 1 - структурная схема 1 электронного устройства, соответствующего варианту осуществления настоящей заявки;

фиг. 2(а)-2(с) - схема 1 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 3 - блок-схема последовательности выполнения операций способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 4 - схема 2 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 5 - схема 3 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 6A(1)-6A(3) - схема 4 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 6B - схема 5 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 7 - схема 6 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 8 - схема 7 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 9 - схема 8 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 10 - схема 9 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 11 - схема 10 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 12 - схема 11 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 13 - схема 12 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 14 - схема 13 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 15 - схема 14 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 16 - схема 15 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 17(а)-17(b) - схема 16 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 18 - схема 17 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 19(a) и фиг. 19(b) - схема 18 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки;

фиг. 20 - схема 19 сценария применения способа фотографирования, соответствующего варианту осуществления настоящей заявки; и

фиг. 21 - структурная схема 2 электронного устройства, соответствующего варианту осуществления настоящей заявки.

Осуществление изобретения

Ниже подробно описываются реализации вариантов осуществления настоящей заявки со ссылкой на сопроводительные чертежи.

Варианты осуществления настоящей заявки обеспечивают способ фотографирования. Способ фотографирования может применяться к мобильному телефону, планшету, стационарному компьютеру, ноутбуку, портативному компьютеру, ультрамобильному персональному компьютеру (ultra-mobile personal computer, UMPC), карманному компьютеру, нетбуку, персональному цифровому секретарю (personal digital assistant, PDA), носимому электронному устройству, устройству виртуальной реальности и т.п. Варианты осуществления настоящей заявки этим не ограничиваются.

Например, упомянутое выше электронное устройство является мобильным телефоном. На фиг. 1 приведена структурная схема мобильного телефона 100.

Мобильный телефон 100 может содержать процессор 110, интерфейс 120 внешней памяти, внутреннюю память 121, интерфейс 130 универсальной последовательной шины (universal serial bus, USB), модуль 140 управления зарядом, модуль 141 управления электропитанием, аккумулятор 142, антенну 1, антенну 2, радиочастотный модуль 150, модуль 160 связи, аудиомодуль 170, громкоговоритель 170A, головной телефон 170B, микрофон 170C, интерфейс 170D телефонной гарнитуры, модуль 180 датчиков, клавишу 190, двигатель 191, камеру 193, дисплей 194, карточный интерфейс 195 модуля идентификации абонента (subscriber identification module, SIM) и т.п.

Следует понимать, что показанная структура в вариантах осуществления настоящей заявки не является конкретным ограничением для мобильного телефона 100. В некоторых других вариантах осуществления настоящей заявки мобильный телефон 100 может содержать больше или меньше компонентов, чем показано на чертеже, объединять или разделять некоторые компоненты или иметь различные компоновки компонентов. Отдельные части на чертеже могут быть реализованы, использую аппаратные средства, программное обеспечение или сочетание программного обеспечения и аппаратных средств.

Процессор 110 может содержать один или более процессоров. Например, процессор 110 может содержать прикладной процессор (application processor, AP), модемный процессор, графический процессор (graphics processing unit, GPU), процессор сигнала изображения (image signal processor, ISP), контроллер, память, видеокодек, цифровой сигнальный процессор (digital signal processor, DSP), процессор основной полосы и/или процессор нейронных сетей (neural-network processing unit, NPU). Различные процессоры могут быть независимыми компонентами или могут быть интегрированы в одном или более процессорах.

Контроллер может быть нервным и командным центром мобильного телефона 100. Контроллер может формировать сигнал управления операциями, основываясь на командах управляющей программы и сигнале временной последовательности, чтобы полностью управлять считыванием команд и их исполнением.

Память дополнительно может быть расположена в процессоре 110 и выполнена с возможностью хранения команд и данных. В некоторых вариантах осуществления память в процессоре 110 является кэш-памятью. Память может хранить команды или данные, которые только используются разово или циклически процессором 110. Если процессор 110 должен использовать команды или данные повторно, процессор 110 может напрямую вызывать команды или данные из памяти, чтобы избежать повторного доступа и уменьшить время ожидания процессора 110. Поэтому системная эффективность улучшается.

В некоторых вариантах осуществления процессор 110 может содержать один или более интерфейсов. Интерфейс может содержать интегральную схему интерфейса (inter-integrated circuit, I2C), интегральную схему звукового интерфейса (inter-integrated circuit sound, I2S), интерфейс импульсно-кодовой модуляции (pulse code modulation, PCM), универсальный асинхронный интерфейс приемника/передатчика (universal asynchronous receiver/transmitter, UART), интерфейс мобильного промышленного процессора (mobile industry processor interface, MIPI), универсальный интерфейс ввода/вывода (general-purpose input/output, GPIO), модуль идентификации абонента (subscriber identity module, SIM), интерфейс универсальной последовательной шины (universal serial bus, USB) и/или т.п.

USB-интерфейс 130 является интерфейсом, соответствующим спецификации стандарта USB, и может конкретно быть миниинтерфейсом USB, микроинтерфейсом USB, интерфейсом USB Type C и т.п. Интерфейс 130 USB может быть выполнен с возможностью соединения с зарядным устройством для заряда мобильного телефона 100 или может быть выполнен с возможностью передачи данных между мобильным телефоном 100 и периферийным устройством. Интерфейс 130 USB альтернативно может быть выполнен с возможностью соединения с гарнитурой, чтобы воспроизводить аудиопрограммы с использованием гарнитуры. Интерфейс альтернативно может быть выполнен с возможностью соединения с другим электронным устройством, таким как AR-устройство.

Следует понимать, что взаимосвязь соединений через интерфейс между модулями, показанная в вариантах осуществления настоящей заявки, является просто примером, предназначенным для описания, и не составляет ограничения структуры мобильного телефона 100. В некоторых других вариантах осуществления настоящей заявки мобильный телефон 100 может альтернативно использовать способ соединения через интерфейс, отличающийся от показанного в предшествующих вариантах осуществления, или использовать сочетание множества способов соединения через интерфейс.

Модуль 140 управления зарядом выполнен с возможностью приема заряда, вводимого от зарядного устройства. Зарядное устройство может быть беспроводным зарядным устройством или проводным зарядным устройством. В некоторых вариантах осуществления проводного заряда модуль 140 управления зарядом может принимать заряд, вводимый от проводного зарядного устройства, используя USB-интерфейс 130. В некоторых вариантах осуществления беспроводного заряда модуль 140 управления зарядом может принимать беспроводной заряд, вводимый с использованием беспроводной зарядной катушки мобильного телефона 100. Модуль 140 управления зарядом заряжает электронное устройство, используя модуль 141 управления электропитанием во время заряда аккумулятора 142.

Модуль 141 управления электропитанием выполнен с возможностью соединения аккумулятора 142, модуля 140 управления зарядом и процессора 110. Модуль 141 управления электропитанием принимает входное напряжение от аккумулятора 142 и/или от модуля 140 управления зарядом и подает питание на процессор 110, внутреннюю память 121, внешнюю память, дисплей 194, камеру 193, модуль 160 связи и т.п. Модуль 141 управления электропитанием может быть дополнительно выполнен с возможностью контроля параметров, таких как емкость аккумулятора, подсчет циклов заряда-разряда аккумулятора, состояние аккумулятора (электрическая утечка или импеданс). В некоторых других вариантах осуществления модуль 141 управления электропитанием может альтернативно быть расположен в процессоре 110. В некоторых других вариантах осуществления модуль 141 управления электропитанием и модуль 140 управления зарядом могут альтернативно быть расположены в одном и том же компоненте.

Функция беспроводной связи мобильного телефона 100 может быть реализована при использовании антенны 1, антенны 2, радиочастотного модуля 150, модуля 160 связи, модемного процессора, процессора основной частоты и т.п.

Антенна 1 и антенна 2 выполнены с возможностью передачи и приема сигнала электромагнитной волны. Каждая антенна в мобильном телефоне 100 может быть выполнена с возможностью перекрытия одного или более диапазонов частот связи. Различные антенны могут быть дополнительно мультиплексированы, чтобы улучшить использование антенн. Например, антенна 1 может быть мультиплексирована как антифединговая антенна в сети локальной беспроводной связи. В некоторых других вариантах осуществления антенна может использоваться в сочетании с переключателем настройки.

Радиочастотный модуль 150 может обеспечивать решение для беспроводной связи, которое применяется к мобильному телефону 100 и которое содержит 2G/3G/4G/5G. Радиочастотный модуль 150 может содержать по меньшей мере один фильтр, переключатель, усилитель мощности, малошумящий усилитель (low noise amplifier, LNA) и т.п. Радиочастотный модуль 150 при использовании антенны 1 может принимать электромагнитную волну, выполнять обработку, такую как фильтрация или усиление на принятой электромагнитной волне, и передавать электромагнитную волну модемному процессору для демодуляции. Радиочастотный модуль 150 может дополнительно усиливать сигнал, модулированный модемным процессором, и преобразовывать сигнал в электромагнитную волну для излучения с использованием антенны 1. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули радиочастотного модуля 150 могут быть расположены в процессоре 110. В некоторых вариантах осуществления, по меньшей мере, некоторые функциональные модули радиочастотного модуля 150 могут быть расположены в одном и том же компоненте, как, по меньшей мере, некоторые модули в процессоре 110.

Модемный процессор может содержать модулятор и демодулятор. Модулятор выполнен с возможностью преобразования подлежащего передаче низкочастотного сигнала основной полосы частот в сигнал среднего высокочастотного диапазона. Демодулятор выполнен с возможностью преобразования принятого сигнала электромагнитной волны в низкочастотный модулирующий сигнал в основной полосе частот. Затем демодулятор передает низкочастотный сигнал в основной полосе частот, полученный посредством демодуляции, процессору основной полосы для обработки. Низкочастотный модулирующий сигнал обрабатывается процессором основной полосы и затем передается прикладному процессору. Прикладной процессор выводит звуковой сигнал, используя аудиоустройство (которое не ограничивается громкоговорителем 170A, головным телефоном 170B и т.п.), или отображает изображение или видео, используя дисплей 194. В некоторых вариантах осуществления модемный процессор может быть независимым компонентом. В некоторых других вариантах осуществления модемный процессор может быть независимым от процессора 110 и располагаться в том же самом компоненте, что и радиочастотный модуль 150 или другом функциональном модуле.

Модуль 160 связи может обеспечить решение для беспроводной связи, которое применяется к мобильному телефону 100 и которое содержит технологии беспроводной локальной сети (wireless local area networks, WLAN) (например, беспроводная сеть Wi-Fi (wireless fidelity, Wi-Fi)), Bluetooth (bluetooth, BT), глобальной навигационной спутниковой системы (global navigation satellite system, GNSS), частотной модуляции (frequency modulation, FM), связи в ближнем поле (near field communication, NFC) или технологии инфракрасной связи (infrared, IR). Модуль 160 связи может быть одним или более компонентами, интегрирующимися по меньшей мере в один модуль процессора связи. Модуль 160 связи принимает электромагнитную волну, используя антенну 2, выполняет процессы частотной демодуляции и фильтрации сигнала электромагнитной волны и посылает обработанный сигнал процессору 110. Модуль 160 связи может дополнительно принимать от процессора 110 сигнал, который должен быть передан, выполнять частотную модуляцию и усиление сигнала и преобразовывать сигнал в электромагнитную волну для излучения, используя антенну 2.

В некоторых вариантах осуществления антенна 1 мобильного телефона 100 связывается с радиочастотным модулем 150 и антенна 2 связывается с модулем 160 связи, так чтобы мобильный телефон 100 мог осуществлять связь с сетью и другим устройством, используя технологию беспроводной связи. Технология беспроводной связи может содержать глобальную систему мобильной связи (global system for mobile communications, GSM), систему пакетной связи общего пользования (general packet radio service, GPRS), систему мультидоступа с частотным разделением каналов (code division multiple access, CDMA), широкополосную систему мультидоступа с кодовым разделением каналов (wideband code division multiple access, WCDMA), систему мультидоступа с кодовым и временным разделением каналов (time-division code division multiple access, TD-SCDMA), систему долгосрочного развития (long term evolution, LTE), BT, GNSS, WLAN, NFC, FM, технологию IR и/или т.п. GNSS может содержать глобальную систему позиционирования (global positioning system, GPS), глобальную навигационную спутниковую систему (global navigation satellite system, GLONASS), навигационную спутниковую систему BeiDou (beidou navigation satellite system, BD), квазизенитную спутниковую систему (quasi-zenith satellite system, QZSS)) и/или спутниковую систему, основанную на аугментации (satellite based augmentation systems, SBAS).

Мобильный телефон 100 реализует функцию дисплея, используя GPU, дисплей 194, прикладной процессор и т.п. GPU является микропроцессором для обработки изображений и соединяется с дисплеем 194 и прикладным процессором. GPU выполнен с возможностью осуществления математических и геометрических вычислений и выполнен с возможностью воспроизведения изображения. Процессор 110 может содержать один или более GPU, которые выполняют программные команды, чтобы формировать или изменять информацию для отображения.

Дисплей 194 выполнен с возможностью отображения изображения, видео и т.п. Дисплей 194 содержит панельный дисплей. Панельный дисплей может использовать жидкокристаллический дисплей (liquid crystal display, LCD), органический светодиодный дисплей (organic light-emitting diode, OLED), активный матричный органический светодиодный дисплей (active-matrix organic light emitting diode, AMOLED), гибкий светодиодный дисплей (flex light-emitting diode, FLED), мини-LED, микро-LED, микро-OLED, квантовый точечный светодиодный дисплей (quantum dot light emitting diodes, QLED) и т.п. В некоторых вариантах осуществления мобильный телефон 100 может содержать один или N дисплеев 194, где N - положительное целое число больше 1.

Интерфейс 120 внешней памяти может быть выполнен с возможностью соединиться с картой внешнего запоминающего устройства, такой как микро SD-карта, расширить возможности хранения мобильного телефона 100. Карта внешнего запоминающего устройства связывается с процессором 110, используя интерфейс 120 внешней памяти 120, чтобы осуществить функцию хранения данных, например, хранить файлы, такие как музыка и видео, на карте внешнего запоминающего устройства.

Внутренняя память 121 может быть выполнена с возможностью хранения исполняемой компьютером управляющей программы и исполняемая управляющая программа содержит команды. Процессор 110 использует команды, хранящиеся во внутренней памяти 121, чтобы реализовывать различные функциональные приложения и обработку данных мобильного телефона 100. Внутренняя память 121 может содержать область хранения программ и область хранения данных. Область хранения программ может хранить операционную систему, приложение, требующееся по меньшей мере для одной функции (например, функции воспроизведения голоса или функции воспроизведения изображения) и т.п. Область хранения данных может хранить данные (такие как аудиоданные и адресная книга), создаваемые во время использования мобильного телефона 100 и т.п. Кроме того, внутренняя память 121 может содержать быстродействующую оперативную память и может дополнительно содержать энергонезависимую память, например, по меньшей мере одно запоминающее устройство на магнитных дисках, устройство флэш-памяти или универсальную флэш-память (universal flash storage, UFS).

Мобильный телефон 100 может осуществлять аудиофункцию, используя аудиомодуль 170, громкоговоритель 170A, головной телефон 170B, микрофон 170C, интерфейс 170D гарнитуры, прикладной процессор и т.п., например, для воспроизведения и записи музыки.

Аудиомодуль 170 выполнен с возможностью преобразования информации цифрового аудио в аналоговый выходной аудиосигнал и также выполнен с возможностью преобразования аналогового входного аудиосигнала в цифровой аудиосигнал. Аудиомодуль 170 может быть дополнительно выполнен с возможностью кодирования и декодирования аудиосигнала. В некоторых вариантах осуществления аудиомодуль 170 может быть расположен в процессоре 110 или некоторые функциональные модули аудиомодуля 170 могут располагаться в процессоре 110.

Громкоговоритель 170A, также называемый "рожком", выполнен с возможностью преобразования электрического аудиосигнала в звуковой сигнал. Мобильный телефон 100 позволяет, оставляя руки свободными, прослушивать музыку, используя громкоговоритель 170A, или прослушивать телефонный разговор.

Головной телефон 170B, также называемый "наушниками", выполнен с возможностью преобразования электрического аудиосигнала в звуковой сигнал. При ответе на вызов или при приеме голосового сообщения, используя мобильный телефон 100, головной телефон 170B может помещаться около человеческого уха, чтобы слушать голос.

Микрофон 170C, также называемый "майком" или "речевым передатчиком", выполнен с возможностью преобразования звукового сигнала в электрический. При телефонном вызове или посылке голосового сообщения пользователь может говорить вблизи микрофона 170C, используя рот пользователя для ввода звукового сигнала в микрофон 170C. Мобильный телефон 100 может быть снабжен по меньшей мере одним микрофоном 170C. В некоторых других вариантах осуществления в мобильном телефоне 100 могут быть расположены два микрофона 170C, чтобы собирать звуковой сигнал и дополнительно реализовывать функция шумоподавления. В некоторых других вариантах осуществления, в мобильном телефоне 100 альтернативно могут быть расположены три, четыре или более микрофонов 170C, чтобы собирать звуковой сигнал, снижать шум, дополнительно идентифицировать источник звука, осуществлять функцию направленной записи и т.п.

Интерфейс 170D гарнитуры выполнен с возможностью соединения с проводной гарнитурой. Интерфейс 170D гарнитуры может быть USB-интерфейсом 130 или может быть стандартным 3,5-миллиметровым интерфейсом открытой модульной платформы (open mobile terminal platform, OMTP) или стандартным интерфейсом Ассоциации изготовителей сотовых телекоммуникационных систем США (cellular telecommunications industry association of the USA, CTIA).

Модуль 180 датчиков может содержать датчик давления, гироскопический датчик, датчик атмосферного давления, магнитный датчик, датчик ускорения, датчик диапазона, оптический датчик близости, датчик отпечатка пальца, датчик температуры, датчик касания, оптический датчик окружающей среды, датчик костной проводимости и т.п. Варианты осуществления настоящей заявки этим не ограничиваются.

Клавиша 190 содержит клавишу включения электропитания, клавишу громкости, и т.п. Клавиша 190 может быть механической клавишей или может быть сенсорной клавишей. Мобильный телефон 100 принимает клавишный ввод и формирует ввод клавишного сигнала, связанный с установкой пользователя и управлением функциями мобильного телефона 100.

Двигатель 191 может формировать вибрационную подсказку. Двигатель 191 может использоваться для вибрационной подсказки о входящем вызове и для вибрационной обратной связи при касании. Например, операции касания, применяемые в различных приложениях (например, при фотографировании и аудиовоспроизведении), могут соответствовать различным эффектам вибрационной обратной связи. Двигатель 191 может также соответствовать различным эффектам вибрационной обратной связи для сенсорных операций, применяемых к различным областям дисплея 194. Различные сценарии применения (например, напоминание о времени, прием информации, будильник и игра) также могут соответствовать различным эффектам вибрационной обратной связи. Настройка эффектов сенсорной вибрационной обратной связи может поддерживаться дополнительно.

Интерфейс 195 SIM-карты выполнен с возможностью соединения с SIM-картой. SIM-карта может вставляться в интерфейс 195 SIM-карты или извлекаться из интерфейса 195 SIM-карты, чтобы осуществлять контакт или извлечение из мобильного телефона 100. Мобильный телефон 100 может поддерживать один или N интерфейсов SIM-карты, где N - положительное целое число больше 1. Интерфейс 195 SIM-карты может поддерживать нано-SIM-карту, микро-SIM-карту, SIM-карту и т.п. Множество карт могут быть вставлены в один и тот же интерфейс 195 SIM-карты одновременно. Множество карт могут быть картами одного типа или разного типа. Интерфейс 195 SIM-карты может также быть совместим с различными типами SIM-карт. Интерфейс 195 SIM-карты может также быть совместим с картой внешнего запоминающего устройства. Мобильный телефон 100 взаимодействует с сетью, используя SIM-карту, чтобы осуществлять такие функции, как вызов и передача данных. В некоторых вариантах осуществления мобильный телефон 100 использует eSIM-карту, а именно, встроенную SIM-карту. Карта eSIM может быть встроена в мобильный телефон 100 и не может быть извлечена из мобильного телефона 100.

Мобильный телефон 100 может осуществлять функцию фотографирования, используя ISP, камеру 193, видеокодек, GPU, дисплей 194, прикладной процессор и т.п.

ISP выполнен с возможностью обработки данных, поступающих от камеры 193. Например, во время фотографирования, оптический затвор открыт, луч света проходит к светочувствительному элементу камеры через линзу, оптический сигнал преобразуется в электрический сигнал, светочувствительный элемент камеры передает электрический сигнал к ISP для обработки и электрический сигнал преобразуется в изображение, которое может наблюдаться. ISP может дополнительно оптимизировать алгоритм фокусировки, шума, яркости и общего вида. ISP может дополнительно оптимизировать такие параметры, как экспозиция и цветовая температура фотографической сцены. В некоторых вариантах осуществления ISP может быть расположен в камере 193.

Камера 193 выполнена с возможностью получения статического изображения или видеозаписи. Оптическое изображение объекта формируется с использованием линзы и проецируется на светочувствительный элемент. Светочувствительный элемент может быть устройством с зарядовой связью (charge coupled device, CCD) или фототранзистором с комплементарным металл-оксидным полупроводником (complementary metal-oxide-semiconductor, CMOS). Светочувствительный элемент преобразует оптический сигнал в электрический сигнал и затем передает электрический сигнал к ISP, чтобы преобразовать электрический сигнал в цифровой сигнал изображения. ISP выводит цифровой сигнал изображения на DSP для обработки. DSP преобразует цифровой сигнал изображения в сигнал изображения в стандартный формат, такой как RGB или YUV. В некоторых вариантах осуществления мобильный телефон 100 может содержать одну или N камер 193, где N - положительное целое число больше 1.

Цифровой сигнальный процессор выполнен с возможностью обработки цифрового сигнала. В дополнение к цифровому сигналу изображения цифровой сигнальный процессор может дополнительно обрабатывать другой цифровой сигнал. Например, когда мобильный телефон 100 выбирает частоту, цифровой сигнальный процессор выполнен с возможностью преобразования Фурье для распределенной по частотам энергии и т.п.

Видеокодек выполнен с возможностью сжатия или распаковки цифрового видео. Мобильный телефон 100 может поддерживать один или более видеокодеков. Таким образом, мобильный телефон 100 может воспроизводить или записывать видео во множестве форматов кодирования, например, в формате группы экспертов по кинематографии (moving picture experts group, MPEG) 1, MPEG 2, MPEG 3 и MPEG 4.

NPU является компьютерным процессором нейронной сети (neural-network, NN) и быстро обрабатывает входные данные, используя биологическую структуру нейронной сети, такую как та, которая предназначена для передачи между нервными клетками человеческого мозга, и может дополнительно непрерывно выполнять самообучение. Приложения, такие как интеллектуальное познание мобильного телефона 100, такие как распознание изображения, распознавание лиц, распознавание речи и понимание текстов, могут быть реализованы с использованием NPU.

В вариантах осуществления настоящей заявки мобильный телефон 100 может получать снимки каждого кадра в режиме реального времени, используя камеру 193. Кроме того, мобильный телефон 100 может распознавать цель фотографирования в съемочном изображении, используя ISP, и следить и фокусировать цель фотографирования в режиме реального времени.

Например, как показано на фиг. 2(A), после включения камеры 193, мобильный телефон 100 может получить первое съемочное изображение 201, используя камеру 193. Мобильный телефон 100 может автоматически распознать цель фотографирования на первом съемочном изображении 201 или пользователь может вручную выбрать цель фотографирования в первом съемочном изображении 201. Например, пользователь выбирает в первом съемочном изображении 201 автомобиль 202 в качестве цели фотографирования. После обнаружения, что пользователь щелкнул по автомобилю 202 в первом съемочном изображении 201, мобильный телефон 100 может извлечь и записать признак изображения автомобиля 202.

Обычно, после включения камеры 193 мобильный телефон 100 собирает и обновляет полученное съемочное изображение с определенной частотой. Как показано на фиг. 2(B), после получения первого съемочного изображения 201, мобильный телефон 100 может продолжить получать следующее съемочное изображение, используя камеру 193, например, второе съемочное изображение 203. В этом случае мобильный телефон может распознать, основываясь на признаке изображения автомобиля 202, содержит ли второе съемочное изображение 203 автомобиль 202. Если второе съемочное изображение 203 не содержит автомобиль 202, мобильный телефон 100 может повторно распознать цель фотографирования на втором съемочном изображении 203. Например, мобильный телефон 100 может использовать человека 204 на втором съемочном изображении 203 в качестве новой цели фотографирования и мобильный телефон 100 может извлечь и записать признак изображения человека 204 на втором съемочном изображении 203.

В дальнейшем, как показано на фиг. 2(C), мобильный телефон 100 может продолжить получать следующее съемочное изображение, используя камеру 193, например, третье съемочное изображение 205. Поскольку мобильный телефон 100 записал признак изображения автомобиля 202 и признак изображения человека 204 в этом случае, мобильный телефон 100 может распознавать, основываясь на двух признаках изображения, содержит ли третье съемочное изображение 205 автомобиль 202 или человека 204. Кроме того, как показано на фиг. 2(C), мобильный телефон 100 может распознать конкретное местоположение автомобиля 202 на третьем съемочном изображении 205, основываясь на признаке изображения автомобиля 202. В этом случае мобильный телефон 100 может переопределить на этот момент автомобиль 202 как цель фотографирования для фокусировки.

Конечно, если в одном и том же съемочном изображении множество фотографируемых объектов соответственно совпадают с множеством записанных целей фотографирования, например, когда фотографируемый объект 1 в текущем съемочном изображении совпадает с записанной целью 1 фотографирования и фотографируемый объект 2 в текущем съемочном изображении совпадает с записанной целью 2 фотографирования, мобильный телефон может определить объект с более высокой степенью совпадения в качестве цели фотографирования в текущем съемочном изображении. Это подробно описывается в последующих вариантах осуществления и поэтому подробности здесь повторно не приводятся.

Другими словами, в процессе фотографирования, мобильный телефон может накапливать признаки изображения для множества целей фотографирования и непрерывно обновлять признаки изображения целей фотографирования. Каждый раз цель слежения, за которой должно вестись слежение в текущем съемочном изображении, должна быть определена, если признак изображения фотографируемого объекта в текущем съемочном изображении совпадает с хранящимся признаком изображения цели фотографирования цели, мобильный телефон может использовать фотографируемый объект в качестве цели слежения для слежения и фокусировки. Таким образом, даже если цель фотографирования покидает съемочное изображение мобильного телефона в каком-то промежутке времени, когда цель фотографирования появляется в съемочном изображении снова, поскольку мобильный телефон записывает признак изображения цели фотографирования цели, мобильный телефон может повторно распознать цель фотографирования на текущем снимке, чтобы непрерывно следить за фотографируемым объектом. Поэтому практика фотографирования пользователя улучшается.

Далее подробно описывается способ фотографирования, обеспечиваемый в варианте осуществления настоящей заявки со ссылкой на сопроводительные чертежи, используя пример, в котором электронное устройство является мобильным телефоном. Как показано на фиг. 3, способ фотографирования содержит этапы S301-S306.

S301: После обнаружения операции включения пользователем камеры мобильный телефон создает модель признаков, основываясь на N съемочных изображениях, полученных камерой, где модель признаков содержит признаки изображения для М целей фотографирования, N > 1 и M > 1.

Обычно, приложение камеры, Camera App, установлено на мобильном телефоне и операция включения Camera App пользователем (например, пользователь щелкает по иконке Camera App) может рассматриваться как операция включения камеры пользователем. Альтернативно, при работе другого приложения мобильный телефон может обнаружить операцию включения камеры пользователем. Например, когда пользователь ведет разговор с контактом, используя приложение WeChat App, если мобильный телефон обнаруживает, что пользователь щелкнул по функции камеры, обеспечиваемой приложением WeChat App, мобильный телефон может вызвать Camera App, чтобы включить камеру.

После того, как в ответ на упомянутую операцию мобильный телефон обнаружил операцию включения камеры пользователем, мобильный телефон может отобразить в окне видоискателя в режиме реального времени съемочное изображение, полученное камерой. Обычно, мобильный телефон отображает каждый кадр съемки в окне видоискателя с определенной частотой кадров (кадров в секунду, frames per second, FPS). Например, если частота кадров равна 30 кадров/секунду, мобильный телефон может отображать 30 кадров съемки, полученных камерой в течение одной секунды.

Во время фотографирования пользователь обычно фотографирует каких-то людей или объекты с какой-то целью. Чтобы непрерывно следить за человеком или объектом, которых пользователь хочет сфотографировать, после включения камеры мобильный телефон может создать модель признаков, основываясь на первых нескольких кадрах съемки, полученных камерой, и сохранить в модели признаков признаки изображения для множества целей фотографирования, за которыми пользователь может хотеть следить и которые определяются мобильным телефоном. Например, мобильный телефон может заранее установить правило, что модель признаков, создаваемая каждый раз при фотографировании, содержит признаки изображения для М целей фотографирования.

Например, как показано на фиг. 4, после первого кадра съемочного изображения 401, получаемого камерой, мобильный телефон может отобразить съемочное изображение 401 в окне 402 видоискателя мобильного телефона. Кроме того, мобильный телефон может определить цель фотографирования в съемочном изображении 401 в соответствии с заданным алгоритмом распознания изображения.

Например, если мобильный телефон распознает, что съемочное изображение 401 содержит человека или лицо, мобильный телефон может определить распознаваемого человека или лицо в качестве цели фотографирования. Альтернативно, после распознавания, что съемочное изображение 401 содержит человека (или лицо), мобильный телефон может дополнительно распознать, является ли человек (или лицо) тем человеком (или лицом), который появляется с относительно высокой частотой в галерее мобильного телефона. Мобильный телефон может периодически извлекать человека (или лицо), который часто появляется в галерее, и пользователь может дополнительно вручную маркировать имя человека (или лица), например, "Ребенок" или "Алиса". Как показано на фиг. 4, после распознавания человека 403 в съемочном изображении 401, мобильный телефон может дополнительно определить, является ли человек 403 маркированным человеком. Если определено, что человек 403 является человеком, маркированным пользователем в галерее как "Алиса", мобильный телефон может определить человека 403 в съемочном изображении 401 как цель фотографирования. Кроме того, как еще показано на фиг. 4, мобильный телефон может дополнительно отобразить маркировку "Алиса" человека 403 в съемочном изображении 401, чтобы подсказать пользователю, что на текущем снимке был распознан человек Алиса и человек Алиса используется в качестве текущей цели фотографирования.

В некоторых других вариантах осуществления, если мобильный телефон распознает, что съемочное изображение 401 содержит объект (например, автомобиль, самолет или животное), который может двигаться, мобильный телефон может определить в качестве цели фотографирования распознанный объект, который может двигаться. Альтернативно, мобильный телефон может определить человека или объект, расположенный в центре съемочного изображения 401, как цель фотографирования. Конкретный способ определения цели фотографирования в съемочном изображении, сделанном мобильным телефоном, не ограничивается в этом варианте осуществления настоящей заявки.

Следует понимать, что конкретный алгоритм распознания изображения, используемый, когда мобильный телефон распознает цель фотографирования, не ограничивается в этом варианте осуществления настоящей заявки. Например, мобильный телефон может распознавать цель фотографирования в съемочном изображении в соответствии с глубоким алгоритмом нейронной сети, таким как SSD (single shot multibox detector) или YOLO v3 (you only look once version 3). Цель фотографирования обычно является человеком или объектом, на котором пользователь сосредотачивает внимание в съемочном изображении.

Например, мобильный телефон определяет человека 403 в съемочном изображении 401 в качестве цели фотографирования. После того, как мобильный телефон определяет человека 403 в съемочном изображении 401 в качестве цели фотографирования, мобильный телефон может дополнительно извлечь признак изображения человека 403 из съемочного изображения 401. Например, мобильный телефон может извлечь признак изображения человека 403 в соответствии с заданным алгоритмом извлечения признака, чтобы получить вектор признака человека 403. В этом случае мобильный телефон добавляет признак изображения цели фотографирования (а именно, человека 403) в модель признаков, созданную в текущем процессе фотографирования.

Дополнительно, как показано на фиг. 5, мобильный телефон может отображать в окне 402 видоискателя второй кадр съемочного изображения 501, полученного камерой. Поскольку временной интервал между вторым кадром съемочного изображения 501 и первым кадром съемочного изображения 401 обычно очень короткий, изображение в съемочном изображении 501 может немного отличаться от изображения в съемочном изображении 401. Кроме того, мобильный телефон может продолжать распознавать цель фотографирования в съемочном изображении 501, соответствующем вышеупомянутому способу. Например, мобильный телефон может определить фотографируемого человека 502 в съемочном изображении 501 как цель фотографирования. Дополнительно, мобильный телефон может извлечь признак изображения человека 502 в соответствии с предшествующим способом. В этом случае, хотя человек 403 в съемочном изображении 401 и человек 502 в съемочном изображении 501 являются одним и тем же фотографируемым объектом, поскольку человек 403 и человек 502 имеют различные позы при движении, признак изображения человека 502 и признак изображения человека 403, которые извлекаются мобильным телефоном, различаются. В этом случае, модель признаков, созданная мобильным телефоном в текущем процессе фотографирования, содержит признаки изображения для двух целей фотографирования: человека 403 и человека 502.

Если мобильный телефон предварительно устанавливает, что признаки изображения для пяти целей фотографирования должны быть созданы в модели признаков, мобильный телефон может продолжать отдельно получать признаки изображения целей фотографирования в третьем кадре съемочного изображения 601, четвертом кадре съемочного изображения 603 и пятом кадре съемочного изображения 605 в соответствии с приведенным выше способом. Например, как показано на фиг. 6A (1), после получения третьего кадра съемочного изображения 601, мобильный телефон может определить человека 602 в съемочном изображении 601 в качестве цели фотографирования и извлечь признак изображения человека 602. Например, как показано на фиг. 6A(2), после получения четвертого кадра съемочного изображения 603, мобильный телефон может определить автомобиль 604 в съемочном изображении 603 в качестве цели фотографирования и извлечь признак изображения автомобиля 604. Например, как показано на фиг. 6A(3), после получения пятого кадра съемочного изображения 605 мобильный телефон может определить автомобиль 606 в съемочном изображении 605 в качестве цели фотографирования и извлечь признак изображения автомобиля 606.

Таким образом, как показано на фиг. 6B, мобильный телефон может отдельно извлекать признаки функции изображения пяти целей фотографирования в первом кадре съемочного изображения - пятом кадре съемочного изображения, то есть, признак изображения человека 403, признак изображения человека 502, признак изображения человека 602, признак изображения автомобиля 604 и признак изображения автомобиля 606. Мобильный телефон может использовать признаки изображения пяти целей фотографирования в качестве модели признаков, чтобы распознавать цель слежения на последующем снимке. Следует понимать, что в последующих вариантах осуществления, где модель признаков содержит признаки изображения для пяти целей фотографирования, она используется в качестве примера для описания. Специалист в данной области техники может установить количество признаков изображения целей фотографирования в модели признаков, основываясь на фактическом сценарии применения или на фактическом опыте, например, 30 или 40. Это не ограничивается в этом варианте осуществления настоящей заявки.

Конечно, мобильный телефон может дополнительно динамически обновлять цель фотографирования в модели признаков и признак изображения цели фотографирования. Это описывается подробно в последующих вариантах осуществления и подробности здесь повторно не приводятся.

S302: мобильный телефон отображает (N+1)-ый съемочное изображение, полученное камерой.

При создании модели признаков в текущем процессе фотографирования, мобильный телефон может непрерывно отображать каждый кадр съемочного изображения, полученного камерой. Если мобильный телефон устанавливает модель признаков, используя первые N кадров съемочных изображений, когда мобильный телефон получает (N+1)-ый кадр съемочного изображения, мобильный телефон может продолжить отображать в окне видоискателя (N+1)-ый кадр съемочного изображения, полученного камерой. Как показано на фиг. 7, мобильный телефон может отображать полученный шестой кадр съемочного изображения 701 в окне 702 видоискателя.

Например, при отображении каждого кадра съемочного изображения, мобильный телефон может запросить, достигает ли количество признаков изображения цели фотографирования в модели признаков заданного порога М. Например, заданный порог М = 5. Если количество признаков изображения целей фотографирования в текущей модели признаков меньше 5, мобильный телефон может продолжать выполнять этап S301, чтобы создать признак изображения новой цели фотографирования в модели признаков. Соответственно, если количество признаков изображения цели фотографирования в текущей модели признаков равно пять, мобильный телефон может продолжать выполнять этап S303.

S303: мобильный телефон извлекает фотографируемый объект в (N+1)-ом снимке.

Аналогично случаю, в котором мобильный телефон распознает цель фотографирования в съемочном изображении, когда создает предшествующую модель признаков, мобильный телефон может распознать в (N+1)-м съемочном изображении фотографируемый объект, содержащийся в съемочном изображении. Разница в том, что после того, как модель признаков создана, мобильный телефон может распознавать один или более фотографируемых объектов в съемочном изображении.

Упомянутое съемочное изображение 701, показанное на фиг. 7, является (N+1)-ым съемочным изображением, которое все еще используется в качестве примера. Мобильный телефон может распознать в соответствии с заданным целевым алгоритмом обнаружения, что фотографируемые объекты, содержащиеся в съемочном изображении 701, являются первым автомобилем 703 и вторым автомобилем 704. Дополнительно, мобильный телефон может извлечь признак изображения первого автомобиля 703 и признак изображения второго автомобиля 704 из съемочного изображения 701, так чтобы мобильный телефон впоследствии, основываясь на признаках изображения двух фотографируемых объектов, определил конкретный фотографируемый объект в качестве цели слежения в съемочном изображении 701.

S304: мобильный телефон вычисляет степень совпадения между фотографируемым объектом и М целями фотографирования в модели признаков.

Упомянутые первый автомобиль 703 и второй автомобиль 704 в съемочном изображении 701 являются фотографируемыми объектами, которые все еще используются в качестве примера. Мобильный телефон может отдельно вычислить степень совпадения между первым автомобилем 703 и М целями фотографирования в модели признаков и степень совпадения между вторым автомобилем 704 и М целями фотографирования в модели признаков.

Например, после извлечения признака изображения первого автомобиля 703 мобильный телефон может вычислить степень совпадения между признаком изображения первого автомобиля 703 и каждым из признаков изображения М целей фотографирования в модели признаков. Например, как показано на фиг. 8, степень совпадения между признаком изображения первого автомобиля 703 и признаком изображения человека 403 составляет 10 пунктов (полная метка соответствует 100 пунктам), степень совпадения между признаком изображения первого автомобиля 703 и признаком изображения человека 502 составляет 12 пунктов, степень совпадения между признаком изображения первого автомобиля 703 и признаком изображения человека 602 составляет восемь пунктов, степень совпадения между признаком изображения первого автомобиля 703 и признаком изображения автомобиля 604 составляет 89 пунктов, и степень совпадения между признаком изображения первого автомобиля 703 и признаком изображения автомобиля 606 составляет 92 пункта. Понятно, что степень совпадения между первым автомобилем 703 в съемочном изображении 701 и автомобилем 606 в модели признаков является самой высокой и метка составляет 92 пункта.

Например, после извлечения признака изображения второго автомобиля 704 мобильный телефон может вычислить степень совпадения между признаком изображения первого автомобиля 704 и каждым из признаков изображения М целей фотографирования в модели признаков. Например, как показано на фиг. 9, степень совпадения между признаком изображения второго автомобиля 704 и признаком изображения человека 403 составляет 3 пункта (полная метка также составляет 100 пунктов), степень совпадения между признаком изображения второго автомобиля 704 и признаком изображения человека 502 составляет четыре пункта, степень совпадения между признаком изображения второго автомобиля 704 и признаком изображения человека 602 составляет семь пунктов, степень совпадения между признаком изображения второго автомобиля 704 и признаком изображения автомобиля 604 составляет 50 пунктов, и степень совпадения между признаком изображения второго автомобиля 704 и признаком изображения автомобиля 606 составляет 48 пунктов. Понятно, что степень совпадения между вторым автомобилем 704 в съемочном изображении 701 и автомобилем 604 в модели признаков является самой высокой и метка составляет 50 пунктов.

Следует заметить, что специалист в данной области техники может установить конкретный способ вычисления степени совпадения, основываясь на фактическом опыте или на реальном сценарии применения. Например, мобильный телефон может вычислить подобие между признаком изображения фотографируемого объекта и признаком изображения цели фотографирования и использовать подобие в качестве степени совпадения между фотографируемым объектом и целью фотографирования. Это не является ограничением в этом варианте осуществления настоящей заявки.

S305: Если степень совпадения между фотографируемым объектом и первой целью фотографирования больше, чем порог степени совпадения, мобильный телефон определяет фотографируемый объект как цель слежения в (N+1)-ом съемочном изображении.

Конкретно, порог степени совпадения (например, 87 пунктов) может быть заранее установлен в мобильном телефоне. Каждая цель фотографирования, хранящаяся в модели признаков, является человеком или объектом, который пользователь хочет сфотографировать и которые определяются мобильным телефоном. Поэтому, когда степень совпадения между фотографируемым объектом и целью фотографирования больше, чем порог степени совпадения, это указывает, что пользователь может фокусировать фотографируемый объект в текущем съемочном изображении. В этом случае мобильный телефон может определить фотографируемый объект как цель слежения в текущем съемочном изображении для слежения.

Например, мобильный телефон, используя этап S304, может определить, что степень совпадения между первым автомобилем 703 в съемочном изображении 701 и автомобилем 606 является самой высокой и метка составляет 92 пункта и что степень совпадения между вторым автомобилем 704 в съемочном изображении 701 и автомобилем 604 является самой высокой и метка составляет 50 пунктов. Если порог степени совпадения равен 87 пунктов, степень совпадения между первым автомобилем 703 в съемочном изображении 701 и автомобилем 606 в модели признаков больше, чем порог степени совпадения, мобильный телефон может определить первый автомобиль 703 как цель слежения в съемочном изображении 701.

В некоторых вариантах осуществления, возможно, что из множества степеней совпадения между фотографируемыми объектами и целями фотографирования все степени совпадения больше, чем порог степени совпадения, например, степень совпадения между первым автомобилем 703 и целью 1 фотографирования составляет 92 пункта и степень совпадения между вторым автомобилем 704 и целью 2 фотографирования составляет 90 пунктов. В этом случае мобильный телефон может определить в качестве цели слежения в съемочном изображении 701, фотографируемый объект (для конкретности, первый автомобиль 703), имеющий самую высокую степень совпадения с целью фотографирования.

Альтернативно, если каждая степень совпадения между фотографируемым объектом и целью фотографирования не больше, чем порог степени совпадения, например, степень совпадения между первым автомобилем 703 и целью 1 фотографирования составляет 50 пунктов и степень совпадения между вторым автомобилем 704 и целью 2 фотографирования составляет 60 пунктов, это указывает, что никакой фотографируемый объект в съемочном изображении 701 не совпадает с целью фотографирования. В этом случае фотографируемый объект в съемочном изображении 701 может появиться вновь в текущем процессе фотографирования. Поэтому, мобильный телефон может прекратить определение цели слежения в съемочном изображении 701.

Можно понять, что поскольку модель признаков, создаваемая мобильным телефоном, содержит признаки изображения множества целей фотографирования в прошлом промежутке времени, мобильный телефон может определить совпадение фотографируемого объекта и каждой из множества целей фотографирования, когда определяет цель слежения в текущем съемочном изображении. Даже если фотографируемый объект в текущем съемочном изображении не появляется в самом последнем кадре съемочного изображения или во множестве кадров съемочных изображений, если степень совпадения между фотографируемым объектом и целью фотографирования в модели признаков достаточно высока, мобильный телефон может определить фотографируемый объект как цель слежения в текущем съемочном изображении. Поэтому, точность слежения за целью по мобильному телефону во время фотографирования повышается.

S306: Мобильный телефон следит за целью слежения в последующем съемочном изображении в соответствии с алгоритмом слежения.

После определения цели слежения в (N+1)-ом съемочном изображении, мобильный телефон может следить за целью слежения в последующем (N+2)-ом съемочном изображении, (N+3)-ем съемочном изображении..., и (N+X)-ом съемочном изображении в соответствии с заданным алгоритмом слежения. Конечно, при слежении за целью слежения мобильный телефон может дополнительно фокусироваться на цели слежения, так чтобы цель слежения фотографировалась более отчетливо в съемочном изображении.

Для предотвращения потери мобильным телефоном цели слежения или слежения за неправильной целью, мобильный телефон может установить период слежения (например, X кадров). В периоде слежения, например, от (N+1)-ого кадра съемочного изображения до (N+X)-ого кадра съемочного изображения, мобильный телефон может в соответствии с алгоритмом слежения следить за целью слежения (например, за первым автомобилем 703), определенной в (N+1)-м кадре съемочного изображения. Когда мобильный телефон получает (N+X+1)-ый кадр съемочного изображения, мобильный телефон может снова выполнить этапы S303-S305, чтобы определить цель слежения в следующем периоде слежения, и следить за целью слежения в следующем периоде слежения в соответствии с алгоритмом слежения.

Алгоритм слежения может быть центроидным (centroid) алгоритмом слежения, корреляционным (correlation) алгоритмом слежения, граничным (edge) алгоритмом слежения и т.п. Это не является ограничением в этом варианте осуществления настоящей заявки.

S307: мобильный телефон обновляет функции изображения М целей фотографирования в модели признаков.

Когда мобильный телефон определяет цель слежения (а именно, этап S305), мобильный телефон может дополнительно обновить модель признаков, основываясь на степени совпадения между каждым фотографируемым объектом в текущем съемочном изображении и каждой целью фотографирования в модели признаков, так чтобы каждая цель фотографирования в модели признаков могла быть обновлена в режиме реального времени с изменением содержания фотографирования. Таким образом, каждая цель фотографирования в модели признаков может точно отражать в максимально возможной степени множество людей или объектов, на которые пользователь обращает внимание в текущем процессе фотографирования.

Съемочное изображение 701 продолжает использоваться в качестве примера. Мобильный телефон может определить, вычисляя степень совпадения между первым автомобилем 703 и каждой целью фотографирования в модели признаков, что первый автомобиль 703 имеет самую высокую степень совпадения с автомобилем 606 и его метка больше заданного порога степени совпадения. В этом случае, как показано на фиг. 10, мобильный телефон может объединить признак изображения первого автомобиля 703 с признаком изображения автомобиля 606, чтобы получить признак изображения автомобиля 606'. В этом случае, автомобиль 606 в модели признаков обновляется до автомобиля 606' и автомобиль 606' может отражать самый последний признак автомобиля, когда автомобиль используется в качестве цели фотографирования.

При объединении признака изображения первого автомобиля 703 и признака изображения автомобиля 606 мобильный телефон может использовать алгоритм объединения, такой как линейный алгоритм взвешенного объединения, алгоритм перекрестного объединения или алгоритм объединения водопадом. Это не ограничивается в этом варианте осуществления настоящей заявки.

В качестве другого примера, мобильный телефон может определить, вычисляя степень совпадения между вторым автомобилем 704 в съемочном изображении 701 и каждой целью фотографирования в модели признаков, что второй автомобиль 704 имеет самую высокую степень совпадения с автомобилем 604, и метку меньше заданного порога степени совпадения. Другими словами, степень совпадения цели фотографирования (автомобиль 604), которая наилучшим образом совпадает со вторым автомобилем 704 и соответствует модели признаков, составляет только 50 пунктов и это указывает, что второй автомобиль 704 может быть целью фотографирования, которая недавно появляется в текущем процессе фотографирования. Как показано на фиг. 11, мобильный телефон может добавить признак изображения второго автомобиля 704 в съемочном изображении 701 к модели признаков и удалить признак изображения самой ранней добавленной цели фотографирования (для конкретности, человек 403) в модели признаков. Таким образом, обновленная модель признаков может непрерывно записывать признаки изображения для множества целей фотографирования, которым пользователь уделял больше внимания в недавнем промежутке времени в текущем процессе фотографирования.

В некоторых других вариантах осуществления пользователь может дополнительно вручную выбирать цель слежения в съемочном изображении. Как показано на фиг. 12, когда мобильный телефон отображает съемочное изображение 701, пользователь может вручную щелкнуть в съемочном изображении 701 по цели сопровождения, которая должна прослеживаться. Например, обнаруживая, что пользователь щелкнул по второму автомобилю 704 в съемочном изображении 701, мобильный телефон может извлечь признак изображения (например, признак A изображения) второго автомобиля 704 и определить второй автомобиль 704 как цель слежения. Кроме того, мобильный телефон может дополнительно удалить признаки изображения пяти целей фотографирования, которые хранились в модели признаков, и добавить признак A изображения второго автомобиля 704 к модели признаков.

В дальнейшем, как показано на фиг. 13, после того, как мобильный телефон получает следующее съемочное изображение 1301, поскольку в этом случае признак изображения цели фотографирования в модели признаков имеет только один признак изображения второго автомобиля 704, мобильный телефон может распознать, основываясь на признаке А изображения второго автомобиля 704, содержит ли съемочное изображение 1301 второй автомобиль 704. Если съемочное изображение 1301 содержит второй автомобиль 704, мобильный телефон может извлечь признак изображения (например, признак В изображения) второго автомобиля 704 в съемочном изображении 1301 и добавить признак В изображения второго автомобиля 704 к модели признаков. Затем, повторяя описанный выше способ, мобильный телефон может создать в модели признаков признак изображения второго автомобиля 704 в пяти различных съемочных изображениях. Дополнительно, мобильный телефон может продолжать следить за вторым автомобилем 704 в последующем съемочном изображении, основываясь на признаке изображения в модели признаков согласно способу этапов S302-S306.

Мобильный телефон на этапах S301-S307 конкретно может быть мобильным телефоном 100, показанным на фиг. 1. На этапах S301-S307 соответствующие действия мобильного телефона могут выполняться процессором 110, показанным на фиг. 1, в соответствии с командами, хранящимися в памяти (например, во внутренней памяти 121 или во внешней памяти 120).

В этом варианте осуществления настоящей заявки, после того, как мобильный телефон создает признаки изображения для множества целей фотографирования в модели признаков в текущем процессе фотографирования, цель слежения, определяемая мобильным телефоном в съемочном изображении каждый раз в соответствии с описанным выше способом, обычно является одной из множества целей фотографирования. После того, как цель слежения покидает съемочное изображение, поскольку модель признаков содержит множество целей фотографирования, которые появлялись в съемочном изображении в недавнем промежутке времени после того, как цель слежения возвращается к съемочное изображение, если модель признаков все еще записывает признак изображения цели слежения в этом случае, мобильный телефон может повторно распознать цель слежения в текущем съемочном изображении, чтобы непрерывно следить за целью фотографирования.

Например, как показано на фиг. 14, после включения камеры мобильный телефон может установить модель признаков в текущем процессе фотографирования в соответствии со способом, описанным на этапе S301. Обращаясь к соответствующим материалам, показанным на фиг. 4-6, модель признаков отдельно содержит признак изображения человека 403, признак изображения человека 502, признак изображения человека 602, признак изображения автомобиля 604 и признак изображения автомобиля 606 во временной последовательности.

Например, как все еще показано на фиг. 14, после получения камерой первого съемочного изображения 1401, мобильный телефон может отобразить съемочное изображение 1401 в окне 1402 видоискателя. В этом случае мобильный телефон может определить, используя этапы S303-S305, что степень совпадения между автомобилем 1403 в первом съемочном изображении 1401 и автомобилем 604 в модели признаков является самой высокой и что степень совпадения больше порога степени совпадения. В этом случае мобильный телефон может определить автомобиль 1403 в первом съемочном изображении 1401 как цель слежения и следить за автомобилем 1403 в съемочном изображении.

В дальнейшем, как показано на фиг. 15, когда мобильный телефон получает второе съемочное изображение 1501, модель признаков в этом случае могла быть обновлена. Например, обновленная модель признаков содержит признак изображения человека 502, признак изображения человека 602, признак изображения автомобиля 604, признак изображения автомобиля 606, и признак изображения собаки 1502. Если мобильный телефон не следит за автомобилем 1403 во втором съемочном изображении 1501, то это указывает, что автомобиль 1403 покинул текущее съемочное изображение (а именно, второе съемочное изображение 1501). Мобильный телефон может повторно выполнить этапы S302-S305, основываясь на обновленной модели признаков, чтобы определить, что целью слежения на втором съемочном изображении 1501 является собака 1502. В этом случае цель слежении мобильного телефона в процессе фотографирования была изменена с автомобиля 1403 на собаку 1502. Конечно, если фотографируемый объект во втором съемочном изображении 1501 не совпадает ни с одной из целей фотографирования в модели признаков, мобильный телефон может альтернативно прекратить определять цель слежения во втором съемочном изображении 1501.

Дополнительно, как показано на фиг. 16, когда мобильный телефон получает третье съемочное изображение 1601, модель признаков, используемая в этом случае, может быть той же самой или отличающейся от модели признаков, используемой, когда мобильный телефон получает второе съемочное изображение 1501. В этом случае, если автомобиль, 1403 возвращается в третье съемочное изображение 1601, мобильный телефон, используя этап S303, может определить, что фотографируемым объектом в третьем съемочном изображении 1601 является автомобиль 1403. Дополнительно, используя этап S304, мобильный телефон может вычислить степень совпадения между автомобилем 1403 и каждой целью фотографирования в модели признаков. В этом случае, модель признаков все еще записывает признак изображения автомобиля 604. Поэтому, если мобильный телефон посредством вычисления узнает, что степень совпадения между автомобилем 1403 и автомобиль 604 является самой высокой и степень совпадения больше, чем порог степени совпадения, мобильный телефон может переопределить автомобиль 1403 на третьем съемочном изображении 1601 как цель слежения для слежения.

Должно быть понятно, что модель признаков, создаваемая мобильным телефоном, записывает множество целей фотографирования, которые появляются в съемочном изображении в недавнем периоде времени. В этом случае, после того, как цель фотографирования, используемая в качестве цели слежения, покидает съемочное изображение, когда цель фотографирования возвращается в съемочное изображение снова, если модель признаков все еще записывает цель фотографирования, мобильный телефон может определить цель фотографирования как цель для повторного слежения. Поэтому, когда пользователь следит и фотографирует объект, если пользователь случайно перемещает объект за пределы диапазона фотографирования камеры, когда пользователь повторно фотографирует объект в съемочном изображении, мобильный телефон все еще может распознавать объект в съемочном изображении для непрерывного слежения, чтобы улучшить практику фотографирования пользователя.

Дополнительно, при слежении за целью слежения, определенной на этапе S305 в съемочном изображении мобильный телефон может дополнительно сделать подсказку в съемочном изображении пользователю с помощью подробного признака цели слежения. Например, мобильный телефон может извлечь множество характерных точек цели слежения. Например, характерные точки могут использоваться для указания контура цели слежения, местоположения, в котором состояние движения цели слежения изменяется, или местоположения, в котором значительно изменяются цвет или форма цели слежения. Дополнительно, мобильный телефон может маркировать эти характерные точки в съемочном изображении и показать эти характерные точки пользователю, так чтобы пользователь мог узнать подробности или изменение цели слежения в реальном времени в процессе фотографирования.

Например, как показано на фиг. 17(a), после того, как мобильный телефон решает, что целью слежения на текущем съемочном изображении 1701 является человек 1702, мобильный телефон может определить кадр 1703 допустимых границ человека 1702. Кадр 1703 допустимых границ обычно является прямоугольником и может вмещать в себе цель слежения (например, человека 1702). Дополнительно, мобильный телефон может извлечь X (X> 1) характерных точек из кадра 1703 допустимых границ в соответствии с заданным алгоритмом извлечения признаков. Эти X характерных точек могут отражать существенное изменение формы или местоположения человека 1702. Как показано на фиг. 17(B), мобильный телефон может маркировать извлеченные X характерных точек в съемочном изображении 1701, используя прямоугольник 1704 (или такую форму, как круг или ромб).

Алгоритм извлечения признаков может быть алгоритмом извлечения HOG (histogram of oriented gradient, histogram of oriented gradients), алгоритмом извлечения SIFT (scale-invariant feature transform, scale-invariant feature transform), алгоритмом извлечения FAST (features from accelerated segment test, features from accelerated segment test), алгоритмом извлечения SURF (speeded up robust features, speeded-up robust features), алгоритм извлечения ORB (oriented fast and rotated brief) и т.п. Это не ограничивает данный вариант осуществления настоящей заявки.

Например, мобильный телефон маркирует характерную точку, используя прямоугольник 1704. Поскольку размер характерной точки, извлеченной мобильным телефоном, обычно мал, для маркировки характерной точки мобильный телефон может установить прямоугольник 1704 с относительно большой площадью. Например, мобильный телефон может заранее разделить съемочное изображение на множество прямоугольных блоков (например, прямоугольных блоков 300 x 400). В этом случае, характерная точка, извлеченная мобильным телефоном, обычно попадает в прямоугольный блок. Например, мобильный телефон маркирует характерную точку A. Мобильный телефон может определить в качестве прямоугольного блока, соответствующего характерной точке A, прямоугольник, содержащий прямоугольный блок с размером 2 x 2 и который содержит характерную точку A, и мобильный телефон может маркировать прямоугольник таким способом, как выделение.

В некоторых вариантах осуществления, если количество X характерных точек, извлеченных мобильным телефоном из кадра 1703 с допустимыми границами, больше указанного значения (например, 10), мобильный телефон может выбрать 10 характерных точек из этих X характерных точек для маркировки. Например, мобильный телефон может случайным образом выбрать 10 характерных точек из извлеченных X характерных точек для маркировки. Альтернативно, мобильный телефон может выбрать из этих X характерных точек для маркировки 10 характерных точек, форма или местоположение которых изменяются более значительно. Алгоритм извлечения HOG используется в качестве примера. После того, как мобильный телефон извлекает значения градиентов этих X характерных точек в соответствии с алгоритмом извлечения HOG, мобильный телефон может выбрать для маркировки 10 характерных точек с самыми большими значениями градиентов, чтобы избежать случая, в котором в съемочном изображении маркируется слишком много характерных точек и визуальный эффект просмотра пользователем от этого страдает.

Аналогично, если кадр 1703 с допустимыми границами цели слежения (например, человека 1702), определенный мобильным телефоном, занимает относительно небольшую площадь, визуальный эффект просмотра пользователем также может страдать, если множество характерных точек цели слежения продолжают извлекаться для маркировки. Поэтому, когда область, занимаемая кадром 1703 с допустимыми границами меньше порога площади, мобильный телефон может маркировать кадр с допустимыми границами (например, кадр 1703 с допустимыми границами) цели слежения в съемочном изображении и подсказать пользователю текуще распознанный объект для слежения.

При слежении за целью слежения (например, за человеком 1702) мобильный телефон может маркировать характерную точку человека 1702 в каждом съемочном изображении в соответствии с описанным выше способом. Например, после распознавания человека 1702 в текущем съемочном изображении мобильный телефон может сравнить человека 1702 в съемочном изображении с человеком 1702 в буферированном предыдущем кадре съемочного изображения. Если определено, что человек 1702 не двигается, мобильный телефон может продолжить маркировать характерную точку человека 1702 в текущем съемочном изображении, используя характерную точку человека 1702 из предыдущего кадра съемочного изображения.

Если определено, что человек 1702 движется, мобильный телефон может повторно извлечь характерную точку человека 1702 из текущего съемочного изображения в соответствии с предшествующим способом и маркировать извлеченную характерную точку в текущем съемочном изображении. Например, как показано на фиг. 18, пользователь может использовать функцию видеозаписи приложения камеры и включить камеру для выполнения видеозаписи. Используя этапы S301-S305, мобильный телефон может распознать человека 1702 в съемочном изображении как Алису и определить человека 1702 как цель слежения. Дополнительно, при отображении каждого кадра съемочного изображения мобильный телефон может маркировать извлеченную характерную точку человека 1702. Эти характерные точки описывают подробности цели слежения. Пользователь может более легко и ясно наблюдать состояние движения цели слежения, используя эти характерные точки, так чтобы пользователь мог фокусировать и делать снимок цели слежения, чтобы улучшить практику фотографирования пользователя.

В качестве примера все еще используется сценарий видеозаписи, показанный на фиг. 18. Когда мобильный телефон непрерывно следит за человеком 1702 в съемочном изображении, если обнаруживается, что на текущем съемочном изображении нет никакого признака изображения, совпадающего с человеком 1702, это указывает, что Алиса покинула текущее съемочное изображение. Как показано на фиг. 19(A), после того, как мобильный телефон не извлекает из съемочного изображения 1902 никакого признака изображения, совпадающего с человеком 1702, мобильный телефон может повторно извлечь фотографируемый объект в съемочном изображении 1902. Например, фотографируемый объект, извлеченный мобильным телефоном из съемочного изображения 1902, является человеком 1901. В этом случае, если модель признаков не содержит признак изображения, который является целью фотографирования и который совпадает с человеком 1901, мобильный телефон не определяет человека 1901 в качестве новой цели слежения. В этом случае мобильный телефон не должен маркировать характерную точку человека 1901 в съемочном изображении 1902. Конечно, если степень совпадения между признаком изображения человека 1901 и признаком изображения цели фотографирования в модели признаков больше порога, мобильный телефон может определить человека 1901 в качестве новой цели слежения для слежения.

В некоторых вариантах осуществления, после того, как мобильный телефон обнаруживает, что цель слежения (например, человек 1702) покидает съемочное изображение, мобильный телефон может установить заданную продолжительность времени (например, одна секунда). В пределах одной секунды мобильный телефон может остановить определение новой цели слежения во вновь полученном съемочном изображении. Для конкретности, в пределах одной секунды после того, как человек 1702 покинул съемочное изображение, фокусировкой того, что пользователь фактически хочет сфотографировать, может быть все еще человек 1702. Поэтому мобильный телефон не определяет в качестве новой цель слежения человека 1901, который вновь появляется в съемочном изображении 1902. Как показано на фиг. 19(b), если мобильный телефон повторно обнаруживает человека 1702 в съемочном изображении 1903 в течение одной секунды, мобильный телефон может продолжить использование человека 1702 в качестве цели слежения и продолжать следить за человеком 1702 в последующем съемочном изображении, чтобы непрерывно следить за целью слежения в процессе фотографирования. Конечно, если мобильный телефон не обнаруживает в пределах одной секунды, что человек 1702 возвращается в съемочное изображение, мобильный телефон может согласно этапам S302-S305 повторно определить для слежения цель слежения в текущем съемочном изображении.

Кроме того, в пределах заданного периода времени (например, одной секунды) после того, как человек 1702 покидает съемочное изображение, мобильный телефон может остановить обновление признака изображения цели фотографирования в модели признаков или мобильный телефон может продолжить обновление признаков изображения М целей фотографирования в модели признаков в соответствии со способом на этапе S307. Это не ограничивается в варианте осуществления настоящей заявки.

В некоторых вариантах осуществления мобильный телефон может дополнительно обеспечивать функцию фотографирования во время видеозаписи. Как показано на фиг. 20, когда функция видеозаписи мобильного телефона разрешена, дополнительно может отображаться клавиша фотографирования 2001. В процессе видеозаписи мобильный телефон может следить за целью слежения в съемочном изображении в режиме реального времени в соответствии с предшествующим способом. Например, целью слежения является человек 1702. Если обнаруживается, что пользователь в процессе видеозаписи щелкнул по клавише 2001 фотографирования, мобильный телефон может автоматически фокусироваться и фотографировать человека 1702, за которым ведется слежение в текущем съемочном изображении 1903. Фотоминиатюра 2002, полученная посредством фотографирования, может отображаться на текущем экране. Таким образом, в динамическом процессе видеозаписи мобильный телефон может автоматически фокусироваться и фотографировать цель слежения в ответ на операцию фотографирования, выполняемую пользователем, так чтобы пользователь фокусировался на цели слежения и получал ее фотографию. Поэтому практика фотографирования пользователя расширяется.

Как показано на фиг. 21, вариант осуществления настоящей заявки раскрывает электронное устройство, содержащее сенсорный экран 2101, где сенсорный экран 2101 содержит сенсорную поверхность 2106 и дисплей 2107; один или более процессоров 2102; память 2103; одну или более камер 2108; одно или более приложений (не показаны); и одну или более компьютерных программ 2104. Перечисленные компоненты могут соединяться, используя одну или более шин 2105 связи. Одна или более компьютерных программ 2104 хранятся в памяти 2103 и выполнены с возможностью исполнения одним или более процессорами 2102. Одна или более компьютерных программ 2104 содержат команды и команды могут использоваться для выполнения способа фотографирования, представленного в предшествующем варианте осуществления.

Используя приведенные выше описания реализаций, специалист в данной области техники может понять, что с целью удобного и краткого описания деление на описанные выше функциональные модули приводится в качестве примера для иллюстрации. При фактическом применении описанные выше функции могут быть распределены для реализации по различным модулям по мере необходимости. Для конкретности, внутренняя структура устройства делится на различные функциональные модули, чтобы осуществить все или некоторые описанные выше функции. Для подробного описания процесса работы представленной выше системы, устройства и модулей, обратитесь к соответствующему процессу в приведенном выше варианте осуществления способа. Подробности здесь повторно не описываются.

Функциональные модули в вариантах осуществления настоящей заявки могут быть интегрированы в один процессор или каждый из блоков может физически существовать отдельно, или два или более блоков интегрируются в один блок. Интегрированный блок может быть реализован в форме аппаратных средств или может быть реализован в форме программного функционального блока.

Когда интегрированный блок реализуется в форме программного функционального блока и продается или используется как независимое изделие, интегрированный блок может быть сохранен на считываемом компьютером носителе. Основываясь на таком понимании, технические решения вариантов осуществления настоящей заявки, по существу или частично вносящие свой вклад в предшествующий уровень техники, или все или некоторые из технических решений могут быть реализованы в форме программного продукта. Программный продукт запоминается на носителе и содержит несколько команд для управления компьютерным устройством (которое может быть персональным компьютером, сервером, или сетевым устройством), чтобы исполнять все или некоторые этапы способов, описанных в вариантах осуществления настоящей заявки. Упомянутый выше носитель содержит любой носитель, который может хранить управляющую программу, такой как флэш-память, съемный жесткий диск, постоянное запоминающее устройство, оперативная память, магнитный диск или компакт-диск.

Предшествующие описания являются просто описаниями конкретных реализаций вариантов осуществления настоящей заявки, но не предназначены ограничивать объем защиты вариантов осуществления настоящей заявки. Любые изменения или замены в пределах технического объема, раскрытого в вариантах осуществления настоящей заявки, должны попадать в рамки объема защиты вариантов осуществления настоящей заявки. Поэтому объем защиты вариантов осуществления настоящей заявки должна подчиняться объему защиты формулы изобретения.

Изобретение относится к области обработки изображений. Техническим результатом является повышение точности фокусировки, выполняемой во время фотографирования движущегося объекта. Результат достигается тем, что способ содержит этапы, на которых получают посредством электронного устройства первое съемочное изображение, где первое съемочное изображение содержит первый фотографируемый объект; при отображении первого съемочного изображения, определяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения для слежения; получают посредством электронного устройства второе съемочное изображение, где второе съемочное изображение не содержит первый фотографируемый объект; отображают посредством электронного устройства второе съемочное изображение; получают посредством электронного устройства третье съемочное изображение, где третье съемочное изображение содержит первый фотографируемый объект; и при отображении третьего съемочного изображения, повторно определяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения для непрерывного слежения. 2 н. и 13 з.п. ф-лы, 28 ил.

1. Способ фотографирования, содержащий этапы, на которых:

получают посредством электронного устройства первое съемочное изображение, причем первое съемочное изображение содержит первый фотографируемый объект;

определяют посредством электронного устройства, при отображении первого съемочного изображения, первый фотографируемый объект в качестве цели слежения для слежения;

получают посредством электронного устройства второе съемочное изображение, причем второе съемочное изображение не содержит первый фотографируемый объект;

отображают посредством электронного устройства второе съемочное изображение;

получают посредством электронного устройства третье съемочное изображение, причем третье съемочное изображение содержит первый фотографируемый объект; и

повторно определяют посредством электронного устройства, при отображении третьего съемочного пространства, первый фотографируемый объект в качестве цели слежения для непрерывного слежения.

2. Способ по п. 1, дополнительно содержащий, перед этапом получения, посредством электронного устройства, первого съемочного изображения, этапы, на которых:

обнаруживают посредством электронного устройства операцию включения пользователем камеры или начала видеозаписи пользователем; и

создают, в ответ на операцию, посредством электронного устройства модель признаков, основанную на N съемочных изображениях, полученных камерой, причем модель признаков содержит М целей фотографирования, и каждая цель фотографирования появляется по меньшей мере в одном из N съемочных изображений, где N > 1 и M > 1.

3. Способ по п. 2, в котором этап определения, посредством электронного устройства, первого фотографируемого объекта в качестве цели слежения для слежения содержит подэтап, на котором:

определяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения, если первый фотографируемый объект совпадает с первой целью фотографирования, причем первая цель фотографирования является одной из М целей фотографирования.

4. Способ по п. 3, в котором после определения посредством электронного устройства первого фотографируемого объекта в качестве цели слежения способ дополнительно содержит этап, на котором:

обновляют посредством электронного устройства признак изображения первой цели фотографирования в модели признаков, основанной на признаке изображения первого фотографируемого объекта.

5. Способ по любому из пп. 2-4, в котором второе съемочное изображение содержит второй фотографируемый объект, причем, когда электронное устройство отображает второе съемочное изображение, способ дополнительно содержит этап, на котором:

определяют посредством электронного устройства, если второй фотографируемый объект совпадает со второй целью фотографирования, второй фотографируемый объект в качестве цели слежения для слежения, причем вторая цель фотографирования является одной из М целей фотографирования, отличающейся от первой цели фотографирования.

6. Способ по п. 5, дополнительно содержащий, после этапа получения, посредством электронного устройства, второго съемочного изображения, этап, на котором:

добавляют посредством электронного устройства, если второй фотографируемый объект не совпадает ни с одной из М целей фотографирования, второй фотографируемый объект к модели признаков в качестве новой цели фотографирования, и удаляют цель фотографирования, созданную самой ранней в модели признаков.

7. Способ по любому из пп. 2-6, в котором третье съемочное изображение дополнительно содержит второй фотографируемый объект, а этап повторного определения, посредством электронного устройства, первого фотографируемого объекта в качестве цели слежения для непрерывного слежения содержит подэтапы, на которых:

определяют посредством электронного устройства, что первая степень совпадения между первым фотографируемым объектом и первой целью фотографирования из числа М целей фотографирования является самой высокой;

определяют посредством электронного устройства, что вторая степень совпадения между вторым фотографируемым объектом и второй целью фотографирования из числа М целей фотографирования целей является самой высокой; и

если первая степень совпадения больше, чем вторая степень совпадения, и первая степень совпадения больше порога степени совпадения, переопределяют посредством электронного устройства первый фотографируемый объект в качестве цели слежения для непрерывного слежения.

8. Способ по любому из пп. 1-7, дополнительно содержащий этапы, на которых

после этапа определения посредством электронного устройства первого фотографируемого объекта в качестве цели слежения для слежения,

записывают посредством электронного устройства момент ухода первого фотографируемого объекта, если первый фотографируемый объект не отслеживается в текущем съемочном изображении; и

после этапа получения посредством электронного устройства второго съемочного изображения,

останавливают посредством электронного устройства, если время с момента ухода до текущего момента меньше заданного значения, распознавание объекта слежения во втором съемочном изображении; или

повторно распознают посредством электронного устройства, если время с момента ухода до текущего момента больше или равно заданному значению, объект слежения во втором съемочном изображении.

9. Способ по любому из пп. 1-8, дополнительно содержащий этапы, на которых:

когда электронное устройство отображает первое съемочное изображение,

маркируют посредством электронного устройства характерную точку первого фотографируемого объекта в первом съемочном изображении; и

когда электронное устройство отображает третье съемочное изображение,

маркируют посредством электронного устройства характерную точку первого фотографируемого объекта в третьем съемочном изображении.

10. Электронное устройство для фотографирования, содержащее:

сенсорный экран, причем сенсорный экран содержит сенсорную поверхность и дисплей;

одну или более камер;

один или более процессоров;

одну или более памятей; и

одну или более компьютерных программ, причем указанная одна или более компьютерных программ хранятся в одной или более памятях, одна или более компьютерных программ содержат команды, вызывающие, при исполнении электронным устройством, выполнение электронным устройством этапов, на которых:

получить первое съемочное изображение, причем первое съемочное изображение содержит первый фотографируемый объект;

определяют, при отображении первого съемочного объекта, первый фотографируемый объект в качестве цели слежения для слежения;

получают второе съемочное изображение, причем второе съемочное изображение не содержит первый фотографируемый объект;

отображают второе съемочное изображение;

получают третье съемочное изображение, причем третье съемочное изображение содержит первый фотографируемый объект; и

повторно определяют, при отображении третьего съемочного изображения, первый фотографируемый объект в качестве цели слежения для непрерывного слежения.

11. Электронное устройство по п. 10, в котором, до получения, электронным устройством, первого съемочного изображения, электронное устройство дополнительно выполнено с возможностью выполнения этапов, на которых:

обнаруживают операцию включения пользователем камеры или запуска видеозаписи пользователем; и

создают, в ответ на упомянутую операцию, модель признаков, основываясь на N съемочных изображениях, полученных камерой, причем модель признаков содержит М целей фотографирования, и каждая цель фотографирования появлялась по меньшей мере в одном из N съемочных изображений, где N > 1 и M > 1.

12. Электронное устройство по п. 11, в котором определение посредством электронного устройства первого фотографируемого объекта в качестве цели слежения для слежения конкретно содержит этап, на котором:

определяют первый фотографируемый объект в качестве цели слежения, если первый фотографируемый объект совпадает с первой целью фотографирования, где первая цель фотографирования является одной из числа М целей фотографирования.

13. Электронное устройство по любому из пп. 11-12, в котором второе съемочное изображение содержит второй фотографируемый объект, причем, когда электронное устройство отображает второе съемочное изображение, электронное устройство дополнительно выполнено с возможностью осуществления этапа, на котором:

определяют, если второй фотографируемый объект совпадает со второй целью фотографирования, второй фотографируемый объект в качестве цели слежения для слежения, причем вторая цель фотографирования является одной из М целей фотографирования, отличающейся от первой цели фотографирования.

14. Электронное устройство по любому из пп. 11-13, в котором после определения, электронным устройством, первого фотографируемого объекта в качестве цели слежения для слежения, электронное устройство дополнительно выполнено с возможностью осуществления этапов, на которых:

записывают момент ухода первого фотографируемого объекта, если первый фотографируемый объект не прослеживается в текущем съемочном изображении; и

после получения, электронным устройством, второго съемочного изображения,

останавливают, если время с момента ухода до текущего момента меньше заданного значения, распознавание объекта слежения во втором съемочном изображении; или

повторно распознают, если время с момента ухода до текущего момента больше заданного значения, объект слежения во втором съемочном изображении.

15. Электронное устройство по любому из пп. 11-14, в котором

когда электронное устройство отображает первое съемочное изображение, электронное устройство дополнительно выполнено с возможностью осуществления этапов, на которых:

маркируют характерную точку первого фотографируемого объекта в первом съемочном изображении; и

когда электронное устройство отображает третье съемочное изображение, электронное устройство дополнительно выполнено с возможностью осуществления этапа, на котором:

маркируют характерную точку первого фотографируемого объекта в третьем съемочном изображении.