УСТРОЙСТВО И СПОСОБ АВТОМАТИЧЕСКОГО ПЕРЕКЛЮЧЕНИЯ РЕЖИМОВ РАБОТЫ КАМЕРЫ Российский патент 2023 года по МПК H04N23/667 

Область техники

Изобретение относится к способам и устройствам автоматического переключения режимов работы камеры (далее, как переключения камеры) при фиксации камеры на объекте в зависимости от расстояния до объекта, и может использоваться, в частности, для фото- и видеосъемки камерами смартфонов, а также в планшетных компьютерах под управлением операционных сиcтем Android, iOS, HarmonyOS и подобных системах, а также в других подобных устройствах, в которых имеется потребность к обеспечению автоматического переключения режимов работы камеры.

Описание предшествующего уровня техники

В уровне техники известно множество способов переключения режимов работы камер, используемых в настоящее время известными производителями фото- и видеотехники, в частности переключение, например, режимов работы цифровой камеры может осуществляться вручную самим пользователем камеры. В ряде случае обеспечение автоматического переключения режима камеры требует наличия специализированного оборудования, такого как лазерные/инфракрасные/радио-датчики движения, радары, лидары. При этом необходимо учитывать время, требуемое для переключения режимов работы камеры, и потребляемую мощность.

При этом следует отметить, что для съемки целевого объекта, находящегося на расстоянии от пользователя камеры, используется мультикамерная система, куда входят несколько камер, которые могут переключаться между собой. Эти камеры могут быть с более близкими расстояниями для фокусировки (макрокамера, ближняя камера), т.е. камеры для работы на небольшом расстоянии от целевого объекта и с более дальними (дальняя камера, теле-фото камера), т.е. камера для работы на большом расстоянии от целевого объекта. Мы будем рассматривать мультикамерную систему с по меньшей мере двумя камерами, которые отличаются между собой расстояниями для фокусировки. Камеру с более близким расстоянием для фокусировки мы назовем ближней камерой. А с более далеким - дальней. Переключение между камерами (ближней и дальней) в мультикамерной системе назовем переключением режимов на режим ближней и дальней съемки, соответственно.

Для понимания проблемы, решаемой настоящим изобретением, рассмотрим типичные случаи переключения режимов работы камеры, таких как режим очень дальней съемки (телефото-камера), режим дальней съемки и режим ближней съемки, проиллюстрированные на фиг.1A, 1B, 2A, 2B и 3A, 3B:

1) переключение с режима дальней съемки (широкоугольная камера) на режим очень дальней съемки (телефото-камеру) и обратно при съемке объекта, находящегося на значительном расстоянии (см. фиг.1A, 1B),

2) переключение с режима дальней съемки (широкоугольная камера) на режим ближней съемки (сверхширокоугольная камера) и обратно при съемке объекта, находящегося на близком расстоянии, или при необходимости захвата большей части объекта или сцены целиком (см. фиг.2A, 2B),

3) переключение с режима очень дальней съемки (телефото-камеры) на режим дальней съемки (широкоугольная камера) и обратно, и с режима дальней съемки (широкоугольная камера) на режим ближней съемки (сверхширокоугольная камера) и обратно при съемке объекта, находящегося в фокусе или вне фокуса, на близком расстоянии или удаленно от пользователя в зависимости от требований пользователя (см. фиг.3A, 3B).

Следует отметить, что режим переключения с режима дальней съемки на режим ближней съемки и обратно наилучшим образом поддается автоматизации и более востребован у конечного пользователя.

При этом решение об автоматическом переключении камеры в различных методах принимается путем использования дополнительной информации, полученной на основании расчетов и измерений, описанных ниже (1), (2) и (3).

(1) Одним из видов такой информации, на основании которого принимается решение о переключении камеры, является диспарантность (1), используемая для вычисления карты глубины сцены. При этом диспарантность (рассогласование или мера расфокусировки сцены), в общем виде, вычисляется на основании двух совпадающих изображений одной и той же сцены, снятых с двух разных углов, например, с помощью камеры по технологии dual pixel или стереокамеры. На фиг.4A представлена сцена, подлежащая съемке с помощью камеры, а на фиг.4B представлена карта глубины сцены с фиг.4A, на основании которой принимается решение о переключении камеры.

(2) Кроме того, для принятия решения о переключении камеры также используются данные движения (2) на сцене и последовательные изображения (кадры) с камеры, используемые для определения направлений целевого объекта и построения поля векторов, при этом по направлению и скорости объекта можно рассчитать необходимый момент времени для переключения линз камеры для повышения качества фото и/или видеосъемки. Кроме того, для компенсации движения камеры во время съемки на основании начального положения и направления камеры могут быть использованы данные текущего положения и направления камеры, получаемые, например, от акселерометра, гироскопа, магнитометра и других датчиков движения, как правило встроенных в смартфоны. На фиг.5A представлена сцена, подлежащая съемке с помощью камеры, а на фиг.5B представлено поле векторов движения сцены с фиг.5A, на основании которого принимается решение о переключении камеры.

(3) Для принятия решения о переключении камеры также могут быть использованы данные о глубине сцены (3), получаемые от лазерных, в том числе инфракрасных сенсоров, таких как времяпролетные (Time-of-Flight(ToF)) сенсоры или лидары (LiDAR), основанные на технологии измерения расстояния путем излучения света лазером или светодиодом и замера времени возвращения отраженного света на приемник. На фиг.6A представлена сцена, подлежащая съемке с помощью камеры, а на фиг.6B представлено дальностное изображение сцены, с фиг.6A, на основании которой принимается решение о переключении камеры.

Заявители изучили множество подобных решений на рынке и выявили основные проблемы, которые необходимо решить в новом способе и устройстве автоматического переключения режимов камеры.

Традиционные решения для автоматического переключения режимов камеры требуют значительное время для обработки и/или вычисления информации, вплоть до секунды, что приводит в свою очередь к задержке процесса инициализации переключения камеры и, соответственно, к снижению качества изображения, получаемого при съемке камерой.

Одной из задач заявленного изобретения является значительное сокращение времени на переключение камеры, которые должно быть практически мгновенным и занимать несколько миллисекунд, чтобы пользователь не заметил процесс переключения.

Кроме того, в известных решениях для автоматического переключения режимов камеры часто возникают ошибки переключения режимов при съемке объекта, например, при съемке объекта через оконное стекло или витрину, когда используемые сенсоры ошибочно распознают стекло в качестве объекта, что инициирует некорректное переключение камеры и приводит к снижению качества изображения, получаемого при съемке камерой. Авторы изобретения устраняют этот недостаток известного уровня техники посредством введения дополнительной информации об объекте в качестве входных данных, частности, карты глубины и поля векторов движения сцены, содержащей объект, для принятия решения о переключении режима камеры.

Кроме того, известные способы и устройства переключения камеры зачастую включают специальное оборудование, например, различные лазерные сенсоры, включая инфракрасные сенсоры, такие, как времяпролетные (ToF) сенсоры или лидары (LiDAR), которые встраиваются в камеры, что требует значительного расхода энергии и существенно повышает стоимость устройства. Однако такое энергопотребление совершенно неприемлемо для смартфонов. Задачей заявленного способа и устройства является также снижение энергопотребления.

Задачей заявленного способа и устройства является создание легкого, компактного, точного устройства, позволяющего автоматически переключать режимы работы камеры, предпочтительно переключать камеру между режимами дальней и ближней съемки, когда расстояние между камерой и целевым объектом превышает предварительно определенное пороговое значение, на основании информации о глубине и положении целевого объекта, полученной посредством определения диспарантности и данных отслеживания целевого объекта на сцене, а также данных, учитывающих движение на интересующей сцене, включающей целевой объект (в частности, поля векторов движения). Кроме того, в заявленном решении могут использоваться дополнительные данные о движении, полученные от акселерометра, гироскопа, датчиков глубины или других сенсоров для получения более точной оценки положения целевого объекта при принятии решения о переключении. В случае необходимости экономии или отсутствия таких сенсоров, или необходимости минимизации энергопотребления подобные сенсоры могут быть не использованы, а качество решения ухудшится незначительно. Таким образом, решение является гибким и устойчивым.

Из уровня техники известна система мобильной камеры US20160007008A1(патентообладатель Apple Inc.), IPC: G03B 13/34, H04N 13/02, опубл. 07.01.2016г., в которой раскрыт способ автофокусировки на основе данных о глубине и содержит получение двух изображений одной и той же сцены от двух различных камер с различными диапазонами фокусного расстояния, в частности, дальней камеры и телефото-камеры. После получения от пользователя информации о желаемом фокусе на сцене, например, при касании экрана, выполняется плавный переход путем совмещения кадров, полученных посредством линзы дальней камеры и телефото-линзы.

Недостатки указанного решения заключаются в необходимости непосредственного участия пользователя для управления камерой. При этом указанный способ съемки может использоваться только для фото- и видеосъемки в режиме приближения.

В публикации WO2020073959A1(патентообладатель Huawei Technologies Co Ltd.), IPC H04N 5/232, опубл. 16.04.2020 г., раскрыт способ и электронное устройство захвата изображения. Способ основан на получении информации о расстоянии от датчика расстояния (т. е. лазерного и/или инфракрасного датчика). Далее, полученная информация о расстоянии обрабатывается и анализируется для определения подходящего фокусного расстояния и последующего выбора одного из режимов: режим очень дальней съемки (телефото-камеры), режим дальней съемки или ближней съемки.

Недостатки данного решения заключаются в следующем: для работы необходим дополнительный датчик расстояния, включение которого в устройство значительно увеличивает стоимость его производства; кроме того, требуется непосредственное участие пользователя для установления фокуса на целевом объекте.

В US11218641B2 (патентообладатель Qualcomm Inc.), опубл.04.01.2022, IPC H04N 5/225, H04N 5/232 раскрыт способ и устройства захвата данных изображения. Способ основан на расчете коэффициента масштабирования и объединении пикселей.

Когда запрошенный пользователем коэффициент масштабирования изображения и/или необходимое для этого объединение пикселей превышает пороговое значение для переключения камеры, выполняется переключение между камерами с разными коэффициентами оптического масштабирования и/или разными фокусными расстояниями, т.е. между режимами очень дальней съемки, дальней съемки и ближней съемки. Этот способ выполняется вручную и не обеспечивает автоматическое переключение режима камеры, поскольку установление фокуса на целевом объекте выполняется по требованию пользователя и далее выполняется процесс переключения режима камеры.

Наиболее близким техническим решением заявленного изобретения является способ переключения фотокамеры и устройство цифровой фотокамеры, раскрытые в патенте US10,291,842B2 (патентообладатель Samsung Electronic Co Ltd), IPC G06T7/00; H04N 5/225, опубл. 14.05.2014г. Способ основан на получении изображений с помощью дальней камеры и очень дальней камеры (телекамеры), вычислении карты глубины путем сопоставления стереоданных, и использовании карты глубины для получения информации о движении. На основе полученной информации о движении и рассчитанной скорости целевого объекта инициируется переключение между дальней камерой и очень дальней камерой (телекамерой).

Недостатками данного решения является то, что способ может использоваться исключительно для фото- и видеосъемки в режиме приближения; кроме того, две камеры, работающие одновременно, увеличивают энергопотребление устройства в целом.

Все вышеуказанные решения не обеспечивают современные требования, диктуемые электронными портативными устройствами со встроенными камерами для захвата видео/фото. При этом в современных электронных устройствах очень трудно совместить требования к компактности устройства, позволяющие использовать его в мобильных телефонах, с одновременным сохранением качества захватываемого изображения в реальном времени, что обеспечивается автоматическим переключением режимов камеры.

Для наглядности преимуществ заявленного способа и устройства автоматического переключения режимов работы камеры далее приведен сопоставительный анализ функциональностей заявленного технического решения и известных технических решений, описанных выше.

Заявленное изобретение характеризуется следующим:

1) обеспечивает переключение камеры из режима дальней съемки в режим ближней съемки и обратно, также может быть использовано для автоматического переключения с режима теле-фотокамеры в режим дальней съемки при потере целевого объекта. Также изобретение может быть использовано для переключения из режима дальней и/или близкой съемки в режим очень близкой съемки (макросъемки) и обратно

2) требуются стереоданные и данные изображения,

3) управление камерой непосредственно пользователем не требуется,

4) способ, согласно изобретению, использует данные глубины и информацию поля векторов движения сцены, содержащей целевой объект.

5) другие данные, например, данные с различных сенсоров (ToF, LiDAR, UWB, акселерометр, гироскоп и другие), могут быть использованы для улучшения точности, но не являются необходимыми.

US 10,291,842 B2 (патентообладатель Samsung Electronics Co Ltd) (прототип)

1) обеспечивает переключение камеры из режима дальней съемки в режим телефото-камеры и обратно,

2) требуются стереоданные от режима дальней съемки и телефото-камеры,

3) управление камерой непосредственно пользователем не требуется,

4) в способе используется информация о движении целевого объекта, получаемая на основании данных глубины.

US20160007008A1(патентообладатель Apple Inc.)

1) обеспечивает переключения камеры из режима дальней съемки в режим телефото-камеры и обратно,

2) требуются стереоданные от режима дальней съемки и телефото-камеры,

3) управление камерой непосредственно пользователем требуется при инициировании переключения режима камеры,

4) в способе используются данные о глубине сцены.

WO2020073959A1(патентообладатель Huawei Technologies Co Ltd.)

1) обеспечивает переключения камеры из телефото-камеры в режим дальней съемки и в режим ближней съемки и обратно,

2) требуются данные от датчика расстояния до целевого объекта,

3) управление камерой непосредственно пользователем требуется при инициировании переключения режима камеры,

4) используются данные сенсоров (лазерные и/или инфракрасные сенсоры).

US11218641B2 (патентообладатель Qualcomm Inc.)

1) обеспечивает переключения камеры из телефото-камеры в режим дальней съемки (широкоугольная камера)и в режим ближней съемки (сверхширокоугольная камера) и обратно,

2) требуются стереоданные от широкоугольной камеры, сверхширокоугольной и телефото-камеры,

3) управление камерой непосредственно пользователем требуется при инициировании переключения режима камеры,

4) используются вычисления коэффициента масштабирования.

Сущность изобретения

Согласно первому аспекту изобретения предлагается способ автоматического переключения режимов работы камеры, содержащий следующие этапы, при которых:

- предварительно захватывают изображение сцены, включающей целевой объект, подлежащий отслеживанию, в одном из: режимов ближней, дальней съемки,

- по выбору, обеспечивают получение данных по меньшей мере одного из: сенсоров глубины, сенсоров движения,

- обеспечивают получение по меньшей мере одного из: стереоданных, данных изображения по меньшей мере в двух последовательных кадрах в одном из режима: ближней съемки, режима дальней съемки,

при получении стереоданных:

- определяют диспарантность D_k сцены, включающей целевой объект, захваченной камерой, на основании полученных стереоданных в определенный момент времени для каждого текущего кадра,

- определяют меру уверенности R₁ полученной диспарантности D_k на основании полученных стерео данных,

- определяется расстояние d₁ от камеры до целевого объекта на основании определенной диспарантности D_k для текущего кадра

при получении данных изображения:

- сравнивают данные изображения по меньшей мере двух последовательных кадров и на основании сравнения указанных данных изображения, вычисляют поле векторов движения на сцене, включающей целевой объект, захваченной камерой,

- вычисляют по меньшей мере один из: коэффициент сдвига, коэффициент поворота, коэффициент масштабирования сцены, на основании вычисленного поля векторов движения сцены,

- по выбору, инициализируют средство отслеживания для целевого объекта для текущего кадра, осуществляют отслеживание целевого объекта на последующих кадрах, и вычисляют коэффициент масштабирования ограничивающего прямоугольника камеры с находящимся в нем целевым объектом в процессе отслеживания для каждого кадра,

- определяют выход целевого объекта из кадра, и в случае если выход целевого объекта из кадра не выявлен:- определяют расстояние d₂ от камеры до целевого объекта на основании коэффициента масштабирования, полученного на основании вычисленного поля векторов движения,

- определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта,

- при получении данных с сенсоров глубины: определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины, и определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины,

- при получении данных с сенсоров движения: определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения и определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения,

- при инициализации средства отслеживания: определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом,

- при инициализации средства отслеживания: определяют меру уверенности R₅ расстояния d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом, и

- выполняют гибридную оценку расстояния от камеры до целевого объекта в текущем кадре на основании полученных значений расстояния d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадре,

- принимают решение о переключении камеры в режим ближней съемки или в режим дальней съемки на основании скорректированного расстояния d_h.

При этом, в заявленном способе, при нахождении камеры в режиме дальней съемки, если полученное скорректированное расстояние d_h меньше предварительно определенного порогового значения принимают решение о переключении камеры в режим ближней съемки, а

при нахождении камеры в режиме в ближней съемки, если полученное скорректированное расстояние d_h больше предварительно определенного порогового значения принимают решение о переключении камеры в режим дальней съемки.

При этом в способе данные изображения представляют собой одно из: RGB, YUV и CMYK данных, а стереоданные получают посредством PDAF сенсоров матрицы камеры с технологией Dual Pixel, при этом

значение диспарантности D_k для выбранного целевого объекта в текущем кадре определяется посредством PDAF данных, полученных матрицей сенсоров камеры, как локальный минимум SAD кривой, а

для определения диспарантности D_k для выбранного целевого объекта в текущем кадре на основе полученных PDAF данных, представляющих собой правое и левое изображение целевого объекта, полученных матрицей сенсоров камеры, рассчитывается сумма абсолютных различий, как абсолютная разность между пикселями левого и правого изображений, на основе которых строятся SAD кривые.

Согласно заявленному способу, скорректированное расстояние d_h определяется на основании полученных значений расстояниЙ d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅ для текущего кадра из выражения согласно выражению:

d_h=d₁ * R₁ + d₂ * R₂ + d₃ * R₃ + d₄ * R₄ + d₅ * R₅

При этом мера уверенности R₁ для текущего кадра рассчитывается на основании данных SAD кривых и определяется из выражения:

R₁,

где - уровень сигнала, - уровень шума, - глобальный минимум и - подминимум SAD кривой.

Кроме того, мера уверенности R₂ для текущего кадра рассчитывается на основе данных поля векторов, и последующего аффинного преобразования поля векторов, а мера уверенности R₃ для текущего кадра характеризует аппроксимацию соотношения сигнал/шум, полученного на основании данных сенсора глубины и определяется из выражения:

R₃=100x ,

где R₃ - мера уверенности, Y_S - уровень сигнала, Y_N - уровень шума.

Согласно способу, мера уверенности R₄ для текущего кадра характеризует аппроксимацию соотношения сигнал/шум, полученного на основании данных по меньшей мере одного сенсора движения и

определяется из выражения:

R₄=100x ,

где R₄ - мера уверенности, Y_S - уровень сигнала, Y_N - уровень шума.

При этом, согласно способу, мера уверенности R₅ рассчитывается на основе результатов работы средства отслеживания.

Кроме того, в заявленном способе:

- расстояние d₁ от камеры до целевого объекта определяют на основании определенной диспарантности D_k для текущего кадра,

- расстояние d₂ от камеры до целевого объекта определяют на основании определенного коэффициента масштабирования для текущего кадра,

- расстояние d₃ от камеры до целевого объекта определяют на основании данных глубины c помощью сенсоров глубины, и расстояние d₄ от камеры до целевого объекта определяют на основании данных движения c помощью сенсоров движения,

- расстояние d₅ от камеры до целевого объекта определяется на основании коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом.

При этом, согласно способу, вычисляют коэффициент масштабирования ограничивающего прямоугольника на экране камеры с находящейся в нем целевым объектом для текущего кадра k, как соотношение размеров ограничивающего прямоугольника текущего кадра и предыдущего кадра.

В заявленном способе, дополнительно, по выбору, определяют предварительно определенные случаи работы камеры, при захвате целевого объекта в текущем кадре, при этом к указанным случаям относятся по меньшей мере одно из: целевой объект представляет собой прозрачный объект, целевой объект представляет собой отражающий объект, съемка целевого объекта, находящегося за стеклом, низкая освещенность или эффект белой стены, когда камера смотрит на однородный фон, локальные перемещения объекта при неподвижном заднем фоне, поворот или дрожание камеры.

При работе камеры в режиме дальней съемки или в режиме ближней съемки, вычисление по меньшей мере одного из: коэффициента сдвига, коэффициента поворота, коэффициента масштабирования сцены, выполняется на основе аффинного преобразования вычисленного поля векторов движения сцены, кроме того, при работе камеры в режиме дальней съемки, определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта на основании на основании вычисленного поля векторов движения сцены и аффинного преобразования этого поля векторов.

Кроме того, при работе камеры в режиме ближней съемки, при инициализации средства отслеживания, если ограничивающий прямоугольник, включающий целевой объект, выходит за границы текущего кадра, устанавливается потеря целевого объекта в текущем кадре, и при установлении потери целевого объекта в текущем кадре, принимается решение о переключении камеры в режим дальней съемки.

При этом, после установления потери целевого объекта в текущем кадре: дополнительно определяется расстояние d₁ от камеры до целевого объекта на основании определенной диспарантности D_k для текущего кадра, и дополнительно определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины для текущего кадра.

Согласно первому аспекту изобретения в способе, при работе камеры в режиме ближней съемки, дополнительно определяют расстояние d_h после установления потери целевого объекта в текущем кадре с учетом дополнительно определенных расстояний d₁ и/или d₃.

При этом, если полученное расстояние d_h после установления потери целевого объекта в кадре меньше предварительно определенного порогового значения, принимается решение о сохранении режима ближней съемки и выполняют переход на следующий кадр, и, если полученное расстояние d_h после установления потери целевого объекта в кадре больше или равно предварительно определенного порогового значения, принимается решение о переключении камеры в режим дальней съемки.

Кроме того, согласно способу, также вычисляют по меньшей мере один из: коэффициента сдвига, коэффициента поворота, коэффициент масштабирования сцены, посредством применения модели аффинного преобразования к вычисленному полю векторов.

Согласно второму аспекту изобретения предлагается устройство автоматического переключения режимов работы камеры, содержащее:

- блок ввода-вывода, включающий графический процессор, дисплей, камеру, блок интерфейса ввода-вывода,

- блок вычислений, содержащий центральный процессор, контроллер памяти, системную память и накопитель,

при этом камера представляет собой мультикамерную систему, включающую фото и/или видеокамеру, и содержащую блок формирования изображения, содержащий линзу ближней съемки и линзу дальней съемки, и матрицу сенсоров, при этом камера выполнена с возможностью захвата целевого объекта и передачи данных изображения целевого объекта в системную память блока вычислений через блок интерфейса ввода-вывода,

блок вычислений выполнен с возможностью реализации этапов способа согласно первому аспекту изобретения, и вычисления расстояния до целевого объекта и принятия решения о переключении камеры в режим ближней съемки или в режим дальней съемки, при этом полученное расстояние до целевого объекта и решение о переключения камеры передается в системную память и через блок интерфейс ввода-вывода в камеру для осуществления переключения режима камеры.

камера выполнена с возможностью передачи графической информации через блок интерфейса ввода-вывода и графический процессор на дисплей устройства,

дисплей выполнен с возможностью визуализации целевого объекта в режиме реального времени.

При этом в заявленном устройстве, графический процессор выполнен с возможностью обработки графической информации, полученной с камеры, а котором матрица сенсоров представляет собой матрицу PDAF сенсоров, накопитель выполнен с возможностью хранения фото- и видеоизображений, полученных камерой устройства и представляет собой твердотельный накопитель(SSD).

При этом в заявленном устройстве блок ввода-вывода дополнительно содержит по меньшей мере один сенсор движения и сенсор глубины, при этом сенсор движения представляет собой по меньшей мере один из: акселерометр, гироскоп, магнитометр, а сенсор глубины представляет собой по меньшей мере один из: RaDAR, LiDAR ToF-сенсор, UWB-сенсор.

Кроме того, контроллер памяти выполнен с возможностью передачи данных из системной памяти на центральный процессор для вычислений.

Заявленное устройство выполнено с возможностью встраивания в одно из: смартфон, планшетный компьютер, фото- и видеокамера.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

Фиг. 1A - представлено изображение сцены при переключении с режима дальней съемки на режим телефотокамеры и обратно при съемке объекта, находящегося на расстоянии, согласно известному уровню техники.

Фиг. 1B - схематично представлены углы обзора сцены при переключении с режима дальней съемки на режим телефотокамеры и обратно при съемке объекта, находящегося на расстоянии, согласно известному уровню техники.

Фиг. 2A - представлено изображение сцены при переключении с режима дальней съемки (широкоугольная камера) на режим ближней съемки (сверхширокоугольная камера) и обратно при съемке объекта, находящегося вблизи, или захвате всей сцены, согласно известному уровню техники.

Фиг. 2B - схематично представлены углы обзора сцены при переключении с режима дальней съемки (широкоугольная камера) на режим ближней съемки (сверхширокоугольная камера) и обратно при съемке объекта, находящегося вблизи, или захвате всей сцены, согласно известному уровню техники.

Фиг.3A - представлено изображение сцены при переключении с режима телефото-камеры на режим дальней съемки (широкоугольная камера) и обратно, и переключении камеры с режима дальней съемки на режим ближней съемки (сверхширокоугольная камера) и обратно при съемке сцены с изменением необходимого фокусного расстояния до объекта в зависимости от требований пользователя, согласно известному уровню техники.

Фиг.3B - схематично представлены углы обзора сцены при переключении с режима телефотокамеры на режим дальней съемки(широкоугольная камера) и обратно, и переключении режима дальней съемки в режим ближней съемки (сверхширокоугольная камера) и обратно при съемке сцены, с изменением необходимого фокусного расстояния до объекта в зависимости от требований пользователя, согласно известному уровню техники.

Фиг.4A - представлено изображение сцены, на основании которой рассчитывается диспарантность согласно известному уровню техники.

Фиг.4B - представлена карта глубины сцены, на основании полученной диспарантности сцены с фиг.4A согласно известному уровню техники.

Фиг.5A - представлено изображение сцены, на основании которой рассчитывается поле векторов движения сцены согласно известному уровню техники.

Фиг.5B - представлено поле векторов движения на основании данных движения на сцене с фиг.5A согласно известному уровню техники.

Фиг.6A - представлено изображение сцены, на основании которой генерируется карта глубины сцены на основании данных, получаемых от лазерных сенсоров согласно известному уровню техники.

Фиг.6B - представлено дальностное изображение сцены с фиг.6а, полученное на основании данных, получаемых от лазерных сенсоров согласно известному уровню техники.

Фиг.7A - представлена блок-схема этапов способа автоматического переключения режимов работы камеры с режима дальней съемки (широкоугольная камера) на режим ближней съемки (сверхширокоугольная камера) согласно варианту реализации изобретения.

Фиг.7B - представлена блок-схема этапов способа автоматического переключения режимов работы камеры с режима ближней съемки (сверхширокоугольная камера) на режим дальней съемки(широкоугольная камера) согласно варианту реализации изобретения.

Фиг.8A - представлено изображение сцены при запуске приложения работы камеры в режиме дальней съемки.

Фиг.8B - представлена автоматическая оценка движения на сцене, как ее видит пользователь на камере.

Фиг.8C - представлена автоматическая оценка расстояния до целевого объекта, как ее видит пользователь на камере.

Фиг.8D - представлено изображение целевого объекта на этапе анализа оценки измерений с фиг.8B, 8C, как ее видит пользователь на камере.

Фиг.8E - представлено изображение сцены при переключении камеры, как ее видит пользователь на камере.

Фиг.9 - представлен пример ограничивающего прямоугольника в виде узлов 2D сетки.

Фиг. 10 - представлена блок-схема устройства автоматического переключения режимов работы камеры.

Предпочтительные варианты осуществления изобретения

Примеры вариантов осуществления настоящего раскрытия будут подробно описаны ниже. Примеры вариантов осуществления были проиллюстрированы на прилагаемых чертежах, на которых одинаковые или подобные ссылочные позиции относятся к одинаковым или подобным элементам, или элементам, имеющим одинаковые или подобные функции. Примерные варианты осуществления, описанные со ссылкой на прилагаемые чертежи, являются иллюстративными, используются только для объяснения настоящего раскрытия и не должны рассматриваться как какие-либо ограничения к нему.

В рамках настоящего изобретения будут использоваться следующие понятия и термины, толкование которых предоставляется ниже авторами изобретения:

Целевой объект - объект, выбранный пользователем и подлежащий съемке (захвату).

Сцена - область, выбранная пользователем, в которой находится целевой объект.

Регион интереса (ROI) - это определенная область (регион) экрана устройства, выбранная с помощью функциональности «сетка» в приложении для фото- и видеосъемки, присущей современным смартфонам под управлением операционных систем Android, iOS и т.д. Например, экран устройства может быть разделен на несколько равных или неравных прямоугольников или других фигур, образующих сетку. Одна ячейка или прямоугольник этой сетки, выбранный пользователем, называется регионом интереса (ROI). В качестве примера авторы изобретения рассматривали экран, разделенный на равные прямоугольники, образующие сетку 9×13, но этот пример не является ограничивающим. В данном случае на экране имеется 9×13 регионов интереса ROI.

Выбранный регион интереса (выбранный ROI) - это регион интереса, определенный на основе области, выбранной пользователем, который может содержать центр области, выбранной пользователем, ее большую часть или всю область, выбранную пользователем, в зависимости от требований пользователя при выполнении процесса автофокусировки на объекте. Если пользователь не выбирает регион сам, ROI может быть выбран автоматически. На фиг.2А показан выбранный ROI. Выбранный ROI, а также его координаты, рассматривается как входные данные для начала процесса отслеживания целевого объекта.

Текущий регион интереса (текущий ROI) - на первом кадре текущий ROI соответствует выбранному ROI, а на последующих кадрах текущим ROI является регион интереса, который для текущего кадра возвращает средство отслеживания. Пользователь выбирает ROI только в первый раз. Следует отметить, что каждый кадр делится условно на сетку ROI, например 13х9, при первой итерации ROI выбирается на основе пользовательского ввода (условно, пользователь показывает, где находится интересующий его объект), дальше эта информация передается в средство отслеживания (трекер), и для каждого последующего кадра предсказывается, в каком именно ROI из сетки целевой объект будет находиться.

Мультикамерная система - система, которая имеет по меньшей мере две камеры, которые могут переключаться между собой. В качестве камер могут использоваться: камера ближнего действия, например сверхширокоугольная камера; камера дальнего действия, например широкоугольная камера; камера очень ближнего действия, например макрокамера и камера очень дальнего действия, например телефотокамера

Режим ближней съемки - камера ближнего действия в мультикамерной системе. Эта камера не может сфокусироваться на дальнем расстоянии. Например, может фокусироваться на расстоянии менее 30 см, но характеристики могут быть и другие.

Режим дальней съемки - камера дальнего действия в мультикамерной системе. Эта камера не может сфокусироваться на ближнем расстоянии. Например, может фокусироваться на расстоянии более 30 см, но характеристики могут быть и другие.

Настоящее изобретение может быть использовано для разных камер в мультикамерной системе, но в рамках настоящего раскрытия авторами изобретения рассматривается переключение камеры с режима ближней съемки на режим дальней съемки и обратно.

Средство отслеживания(трекер) - последовательность этапов обработки данных, посредством которых на основании входных данных, в качестве которых задаются данные текущего ROI с объектом, подлежащим захвату, на выходе обеспечиваются данные (координаты) объекта на последующих кадрах.

PDAF данные - изображения, полученные путем отражения лучей света от объекта, находящегося в кадре, и попадания их на противоположные (левую и правую) стороны линзы камеры. Объект находится в фокусе, если два полученных изображения совпадают. Изображения, полученные таким образом, также называются левым и правым изображением соответственно.

Dual Pixel - технология фазовой автофокусировки, при которой каждый пиксель сенсора используется для определения фазы и для получения информации о цвете, что значительно повышает и скорость и точность автофокусировки по сравнению с обычными системами.

SAD кривая - кривая на 2D графике: оси X соответствует смещение в количестве пикселей левого изображения относительно правого, оси Y - соответствующая сумма попиксельных разностей между изображениями для выбранного фрагмента; SAD кривые авторы изобретения получают посредством сенсоров, встроенных в мобильный телефон, которые называются dual pixels и содержат информацию о двух картинках (левое и правое изображение объекта с телефона с небольшим сдвигом).

Диспарантность (рассогласование) - мера расфокусировки сцены, получаемая на основе анализа SAD кривой. Формально, диспарантность является точкой локального минимума SAD кривой, поэтому измеряется в количестве пикселей.

Специальный (предварительно определенный) случай использования камеры - это любые случаи использования камеры, которые отличаются от стандартных случаев использования камеры, и в которых переключение камеры может быть выполнено необоснованно, например, если имеет место прозрачный объект, отражающий объект, съемка за стеклом, повороты и движение камеры в режиме ближней съемки, очень маленькие объекты, безтекстурные объекты, безтекстурный фон без объекта (случай с белой стеной), сценарий прохода по комнате, убирание объекта из кадра, убирание камеры от объекта, движение объекта при неподвижной камере.

Стандартный случай использования камеры - в рамках настоящего раскрытия под стандартным случаем понимается сценарий, когда пользователь снимает не прозрачный и не отражающий двумерный или трехмерный целевой объект среднего размера (объект имеет какую-то текстуру), пользователь подходит с включенной камерой в режиме дальней съемки ближе к объекту, движение при этом не слишком быстрое или медленное, равномерное по скорости, может быть поворот камеры, поворота может не быть. При приближении к объекту на определенное расстояние, заданное порогом, происходит переключение в режим ближней съемки. Пользователь производит фото или видео съемку. Потом он отдаляется от целевого объекта, при отдалении на определенное расстояние, заданное порогом, происходит переключение в режим дальней съемки.

Дальностное изображение (карта глубины) - изображение, сформированное таким образом, что каждый пиксель вместо цвета кодирует информацию о расстоянии между соответствующей точкой на сцене и точкой обзора (камерой).

Мера уверенности - показатель, указывающий, в какой степени полученное измерение или вычисление (например, показатели сенсоров, вычисленные характеристики изображения) зависят от шума, и, следовательно, до какой степени на точность измерения можно положиться. В общем случае уверенность можно оценить, как соотношение сигнал/шум по выражению:

где R - мера уверенности, Y_S - уровень сигнала, Y_N - уровень шума.

Примеры расчета меры надежности для конкретных измерений или вычислений могут быть найдены в следующих работах, отражающих известный уровень техники:

[1]US8068543B2, IPC H04B 1/66, опубл.29.11.2011г.;

[2]Liu, Jun & Ye, Ping & Zhang, Xingchen & Xiao, Gang. (2021). Real-time long-term tracking with reliability assessment and object recovery. IET Image Processing. 10.1049/ipr2.12072.;

[3]J. Zhu, L. Wang, R. Yang, J. E. Davis and Z. pan, "Reliability Fusion of Time-of-Flight Depth and Stereo Geometry for High Quality Depth Maps," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 7, pp. 1400-1414, July 2011, doi: 10.1109/TPAMI.2010.172.

Ограничивающий прямоугольник - прямоугольник, ограничивающий форму целевого объекта на плоскости сцены.

Коэффициент масштабирования - коэффициент, отражающий изменение размера целевого объекта между последовательными кадрами. В качестве примера, но не ограничения, коэффициент масштабирования может быть вычислен через отношение сторон соответствующих ограничивающих рамок целевого объекта; в известном уровне техники также описаны методы вычисления коэффициента масштабирования на основании оценки векторов движения, к ним относятся:

[4]WO2013106425A1, IPC H04N 7/26, опубл.18.07.2013г.;

[5]Wang H, Shen J, Chen Z, Shen J. A Fast Object Tracking Approach Based on the Motion Vector in a Compressed Domain. International Journal of Advanced Robotic Systems. 2013;10(1). doi:10.5772/55210;

[6]Alvar, Saeed & Bajic, Ivan. (2018). MV-YOLO: Motion Vector-Aided Tracking by Semantic Object Detection. 1-5. 10.1109/MMSP.2018.8547125.

Гибридная оценка расстояния до объекта - способ оценки расстояния от камеры до целевого объекта, использующий различные источники данных о глубине сцены для финальной оценки расстояния. В качестве примера, но не ограничения, гибридная оценка может использовать взвешенную комбинацию данных о глубине с разных источников (например, PDAF-данных, сенсоров глубины и векторов движения), а также может быть основана на выборе наиболее надежного источника данных о глубине посредством оценки уверенности (надежности).

Переключение режима съемки с режима дальней съемки на режим ближней съемки - процесс перехода от использования линзы камеры дальнего действия к использованию линзы камеры ближнего действия при захвате изображения, содержащего целевой объект, находящийся в движении, и изменении соответствующего оптимального диапазона фокусных расстояний линзы камеры.

Переключение режима съемки с режим ближней съемки на режим дальней съемки - процесс перехода от использования линзы камеры дальнего действия к использованию линзы камеры ближнего действия при захвате изображения, содержащего целевой объект, находящийся в движении, и изменении соответствующего оптимального диапазона фокусных расстояний линзы камеры.

На фиг.7A, фиг.7B представлены блок-схемы этапов автоматического переключения режимов камеры, а на фиг.8A-8E, представлены изображения на камере, которые наблюдает пользователь при съемке cцены и/или целевого объекта соответствующие последовательностям этапов с фиг.7A-7B.

Далее более детально будет раскрыта последовательность этапов автоматического переключения камеры со ссылкой на фиг.7A, фиг.7B, и соответствующие фиг.8A-8E:

1) Пользователь смартфона запускает приложение камеры, в котором режим дальней съемки камеры может быть выбран по умолчанию или установлен пользователем. Опционально, пользователь может вручную выбрать целевой объект, касаясь пальцем соответствующей области на экране, например смартфона. На основании данных, полученных с камеры смартфона, формируется само изображение и стереоданные к нему. В качестве примера, но не ограничения, стереоданные могут быть получены посредством PDAF сенсоров на матрице камеры с технологией Dual Pixel.

Следует отметить, что не обязательно начинать запуск приложения камеры в режиме дальней съемки, пользователь может быть и в режиме ближней съемки, если его настройки сохраняют последний режим съемки и он был ближним.

Этот этап ввода данных представлен на фиг.8A, где пользователь запускает камеру в режиме дальней съемки.

2) Построение с помощью полученных данных поля векторов движения и выполнение оценки диспарантности и меры уверенности.

На фиг.8B представлена автоматическая оценка движения на сцене, как ее видит пользователь на камере.

3) Выполнение оценки расстояния посредством векторов движения и выполнение оценки расстояния посредством стереоданных, при этом также на основе полученных данных могут быть выявлены специальные или предварительно определенные случаи использования для более стабильной работы и лучшего взаимодействия с пользователем. По выбору пользователя и при наличии соответствующих сенсоров, встроенных в смартфон или подобное устройство, оценка расстояния может быть выполнена на основании дополнительных данных движения на сцене, полученных от гироскопа, акселерометра, магнитометра, или любых других сенсоров (см. фиг.7A, фиг.7B)

При этом следует отметить, что оценка расстояния может выполняться разными, известными из уровня техники, методами, например посредством: векторов движения, стереоданных, данных сенсоров движения, данных сенсоров глубины, данных полученных с помощью алгоритма слежения, при этом используются разные типы данных. И все эти оценки расстояния, которые могут быть получены на этом этапе 3) объединяются в одну оценку расстояния на этапе 4 с помощью гибридной оценки расстояния

Автоматическая оценка расстояния до целевого объекта, которую наблюдает пользователь камеры, представлена на фиг.8C.4) Далее выполняется гибридная оценка расстояния, которая будет более детально описана далее в описании, на которой анализируют оценки и вычисления, полученные на этапах 2 и 3.

5) На основании данных о расстоянии до объекта, полученных на этапе гибридной оценки расстояния на этапе 4, осуществляют проверку пороговых значений для выбора линзы. На основании этой проверки и анализа пограничных случаев выбирают линзу для режима дальней съемки или режима ближней съемки работы камеры и выполняют автоматическое переключение камеры.

На фиг.8E представлена картинка, которую наблюдает пользователь при переключении камеры.

Далее остановимся на описании гибридного алгоритма, упомянутого со ссылкой на фиг.8C и фиг.7A, фиг.7B, на основании которого выполняется автоматическая оценка расстояния до целевого объекта, которую наблюдает пользователь камеры.

Ключевое положение 1: Гибридная оценка расстояния для определения расстояния до объекта(см. фиг.7A, фиг.7B).

1) Если пользователь находится в режиме дальней съемки камеры (широкоугольный режим) пользователь открывает (запускает) приложение камеры, посредством которого получает данные изображения в текущем кадре, при этом изображения могут быть закодированы цветовом пространстве, например, RGB, YUV или CMYK, и стереоданные, например, PDAF данные или согласованные данные изображения от двух камер на основании захвата целевого объекта.

2) Расстояние до целевого объекта определяется с помощью стереоданных. Методы и средства получения расстояния с помощью стереоданных раскрыты в следующих источниках информации: [7]RU2778355C2, опубл. 17.08.2022 г., САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД., KR.

3) На основании полученных данных изображения целевого объекта инициируется отслеживание целевого объекта посредством средства отслеживания (трекера), и полученные данные отслеживания используются для определения коэффициента масштабирования ограничивающего прямоугольника средства отслеживания между последовательными кадрами захваченного изображения целевого объекта. На основании коэффициента масштабирования вычисляется расстояние до целевого объекта. Полученные данные отслеживания также используются для определения некоторых пограничных случаев, например потери целевого объекта в кадре. Процесс отслеживания целевого объекта детально описан в патенте [7] RU2778355C2, опубл. 17.08.2022 г., того же патентообладателя (САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД., KR), что и патентообладатель заявленного изобретения.

4) На основании полученных двух последовательных изображений с камеры инициируется процесс оценки движения, который также используется для определения коэффициента масштабирования между последовательными кадрами захваченного изображения целевого объекта. Процесс оценки движения описан в следующих источниках информации:

[8] Pesquet-Popescu, B., Cagnazzo, M., & Dufaux, F. (2013). Motion Estimation Techniques;

[9] Qian, Xueming. (2012). Global Motion Estimation and Its Applications. 10.5772/34166.

На основании коэффициента масштабирования вычисляется расстояние до целевого объекта.

Коэффициент масштабирования в данном случае вычисляется через оценку векторов движения, например, как раскрыто в публикации [10]Lai, Lijun & Xu, Zhiyong. (2015). Global Motion Estimation Based on Fourier Mellin and Phase Correlation. 10.2991/cmes-15.2015.173.

5) Могут быть использованы другие данные и методы для определения расстояния до целевого объекта.

В качестве неограничивающего примера могут быть также использованы PDAF-данные, данные с сенсоров движения и глубины.

6) Определяются случаи специального использования, которые будут описаны далее.

7) Вычисляются меры уверенности R=100x (1),

где Y_S-уровень сигнала, Y_N-уровень шума для каждого используемого метода определения расстояния до целевого объекта.

8) Применение гибридной оценки расстояния при финальной оценке расстояния до целевого объекта характеризуется включением данных, полученных на этапах 2)-7). При этом подобные устройства известного уровня техники используют только один источник, т.е., например, только данные изображения, или только стереоданные для определения расстояния до целевого объекта, что вызывает некоторые ошибки при оценке расстояния до объекта и, соответственно, возникновение ошибок при переключении камеры с одного режима на другой.

Заявленное изобретение согласно первому варианту реализации использует несколько способов определения расстояния до целевого объекта. Например: с помощью отслеживания целевого объекта, с помощью векторов движения на сцене с целевым объектом, с помощью PDAF данных. Все эти оценки и их меры уверенности аккумулируются в одну единственную, более точную оценку расстояния до целевого объекта, что обеспечивает точное переключение камеры даже в случае отсутствия сенсоров глубины. Сенсоры глубины и другие сенсоры (например, сенсоры данных движения) также могут быть использованы для гибридной оценки для еще большего увеличения точности решения в случае наличия таких сенсоров.

Согласно первому варианту реализации, гибридный алгоритм оценки расстояния до целевого объекта описанный выше со ссылкой на фиг.7A, фиг.7B также может включать введение данных от сенсоров различных типов, например, акселерометра, гироскопа, магнитометра.

Данные движения, определяются на основании измерений, полученных от сенсоров различных типов, например акселерометров, гироскопов, магнитометров, а также различных сенсоров глубины, в частности, основанных на использовании радиоволн (RADAR), основанных на технологии измерения расстояний путем излучения света лазера и замера времени возвращения отраженного света на приемник (времяпролетные (ToF) сенсоры или лидары (LiDAR)), или сверхширокополосные (UWB) сенсоры, основанные на использовании сверхширокополосных сигналов в диапазоне от 6-8ГГц.

На основе полученных данных движений от различных сенсоров, определяется расстояние до целевого объекта, которые вводится в гибридный алгоритм для финальной оценки расстояния до целевого объекта.

Гибкость предлагаемого решения согласно первому варианту реализации позволяет включать различные данные о движении от различных сенсоров (например, акселерометра, гироскопа, ToF, LiDAR или UWB. Следует отметить, что в заявленном способе для каждого источника данных может быть посчитана отдельная оценка расстояния до объекта. Данные из сенсоров движения могут быть использованы все вместе или по отдельности. На основании их может быть сделана оценка расстояния до объекта, которая может быть преобразована вместе с остальными оценками, например, на основании данных глубины от сенсоров глубины, в общую единую оценку посредством гибридной оценки расстояния до объекта. Ключевую роль в проведении гибридной оценки играют определение меры уверенности, которые более детально будут описаны далее в настоящем, что позволяет объединить различные оценки расстояния в одну и тем самым обеспечить более точную оценку движения целевого объекта на сцене, и обеспечить более точное переключение камеры.

Ключевое положение 2: обработка специального( предварительно определенного) случая использования камеры.

1) Пользователь открывает (запускает) приложение камеры (режим дальней съемки камеры (широкоугольный режим) (см.фиг.7A) или режим ближней съемки камеры (сверхширокоугольный режим) (см. фиг.7B), посредством которого получает данные изображения, например RGB, YUV или CMYK данные, и стерео данные, например PDAF данные или согласованные данные изображения от двух камер на основании захвата целевого объекта.

2) Оценивается диспарантность и мера уверенности для кадра выбранных регионов интереса (ROI) посредством стерео данных.

3) Определяется положение линзы камеры на основе полученной диспарантности и меры уверенности выбранных ROI.

4) На основании полученных данных изображения целевого объекта инициируется процесс отслеживания целевого объекта посредством средства отслеживания (трекера).

5) Определяются вектора движения на сцене с целевым объектом на основании полученных данных изображения из последовательных кадров.

6) Определяются случаи специального использования на основании анализа данных, полученных на этапах 2-6 Ключевого положения 2. Например, в случае потери целевого объекта из кадра, которая была определена с помощью средства отслеживания, может быть принято решение о переключении режима съемки с ближнего на дальний режим. Также информация диспарантности и меры уверенности, полученные с стереоданных, а также самого изображения могут использованы для распознавания сцены, определения целевого объекта и фона (не объекта). Например, в случае распознавания отсутствия объекта (случай однородного фона), может быть принято решение о не переключении режима съемки с дальнего на ближний режим.

Следует отметить, что традиционные известные методы обработки данных расстояния целевого объекта не определяют случаев специального использования, например, захвата камерой сцены с целевым объектом через оконное стекло или витрину и т.п., при этом сенсоры ошибочно распознают стекло в качестве объекта, что инициирует некорректное переключение камеры и приводит к снижению качеству изображения, получаемого при съемке камерой.

Возможность выявления специальных (предварительно определенных) случаев использования для автоматического переключения режимов камеры повышает точность оценки движения целевого объекта на сцене, точность определения расстояния для целевого объекта и обеспечивает лучший пользовательский опыт. Использование только данных изображения для обработки специальных случаев использования делает необязательным использование дорогостоящего оборудования (например, сенсоров движения).

Эффекты, достигаемые при использовании способа и устройства автоматического переключения режимов работы камеры смартфона.

Общие эффекты:

- обеспечивается точное автоматическое переключение между режимами ближней и дальней съемки;

- обеспечивается легкое, компактное устройство

подходящее как для устройств премиум класса, так и для устройств массового рынка.

Эффекты, обеспечиваемые посредством гибридного процесса обработки данных для оценки расстояния до целевого объекта (Ключевое положение 1)

- обеспечивается использование различных источников информации о расстоянии для точной оценки расстояния до целевого объекта;

- обеспечивается соответствующее переключение камеры;

- заявленный способ и устройство могут использоваться для массового рынка.

Эффекты, обеспечиваемые включением данных сенсоров в гибридный процесс обработки данных для оценки расстояния до целевого объекта Ключевое положение 1, Вариант 1):

- обеспечивается гибкое решение, которое позволяет легко вводить данные глубины от других источников информации;

-обеспечивается возможность лучшего функционирования для устройств премиум класса.

Эффекты, обеспечиваемые от обработки специального случая использования (Ключевой момент 2):

- улучшенная точность работы устройства в специальных случаях использования

- более низкое энергопотребление за счет оперативного обнаружения специальных (предварительно определенных) случаев использования и их отдельной обработки.

Кроме того, авторы изобретения провели исследования конкретных эксплуатационных параметров известных на рынке флагманских решений, а также заявленного решения, которые наглядно демонстрируют преимущество заявленного устройства и способа автоматического переключения режимов работы камеры.

При этом в качестве основных эксплуатационных параметров выбирались: время работы текущего решения, энергопотребление, успешное переключение камеры в %, нежелательное переключение в %, задержка переключения в % и нестабильное расстояние переключения камеры в %.

Заявленное изобретение характеризуется следующим:

1) время работы ~9 мс,

2) энергопотребление 60 мА,

3) успешное переключение камеры ~97%,

4) нежелательное переключение ~0%,

5) задержка переключения ~2%,

6) нестабильное расстояние переключения камеры ~1%.

US10,291,842B2 (US20160381289А1)(патентообладатель Samsung Electronics Co Ltd), модель Galaxy S21ULTRA:

1) время работы ~15 мс,

2) энергопотребление 54 мА,

3) успешное переключение камеры ~60%,

4) нежелательное переключение 31%,

5) задержка переключения ~8%,

6) нестабильное расстояние переключения камеры ~1%.

US20160007008A1 (патентообладатель Apple Inc.), модель iPhone 13 Pro Max:

1) данные неизвестны из открытых источников,

2) данные неизвестны из открытых источников,

3) управление камерой непосредственно пользователем требуется при инициировании переключения режима камеры,

3) успешное переключение камеры 27%,

4) нежелательное переключение 33%,

5) задержка переключения ~7%,

6) нестабильное расстояние переключения камеры ~33%.

WO2020073959A1(патентообладатель Huawei Technologies Co Ltd.), модель P50Pro:

1) данные неизвестны из открытых источников,

2) данные неизвестны из открытых источников,

3) успешное переключение камеры 97%,

4) нежелательное переключение 15%,

5) задержка переключения ~66%,

6) нестабильное расстояние переключения камеры ~66%.

Представленный анализ эксплуатационных параметров известных смартфонов на рынке наглядно демонстрирует преимущества заявленного способа и устройства автоматического переключения режима работа камеры смартфона.

Кроме того, авторы изобретения провели исследования конкретных функциональностей известных на рынке флагманских решений, а также заявленного решения, которые наглядно демонстрируют преимущество заявленного устройства и способа автоматического переключения режимов работы камеры.

При этом в качестве основных функциональностей выбирались: наличие сенсора движения, схема переключения, автоматическое переключение, решение проблемы задержки переключения, решение проблемы нежелательного переключения, решение проблемы нестабильного поведения в случаях специального использования.

Заявленное изобретение характеризуется следующим:

1) не обязательно наличие сенсора движения,

2) схема переключения заключается в переключении камеры из режима дальней съемки в режим ближней съемки и обратно,

3) наличие автоматического переключения,

4) проблемы задержки переключения решены,

5) проблемы нежелательного переключения решены,

6) проблемы нестабильного поведения в случаях специального использования решены.

US10,291,842B2 (US20160381289А1)(патентообладатель Samsung Electronics Co Ltd), модель Galaxy S21ULTRA:

1) наличие сенсора движения,

2) схема переключения заключается в переключении камеры из режима дальней съемки в режим ближней съемки и обратно,

3) наличие автоматического переключения,

4) проблемы задержки переключения не решаются,

5) проблемы нежелательного переключения не решаются,

6) проблемы нестабильного поведения в случаях специального использования не решаются.

US20160007008A1 (патентообладатель Apple Inc.), модель iPhone 13 Pro Max:

1) наличие сенсора движения,

2) схема переключения заключается в переключении камеры из режима дальней съемки в режим ближней съемки и обратно,

3) наличие автоматического переключения,

4) проблемы задержки переключения не решаются,

5) проблемы нежелательного переключения не решаются,

6) проблемы нестабильного поведения в случаях специального использования не решаются.

WO2020073959A1 (патентообладатель Huawei Technologies Co Ltd.), модель P50Pro:

1) наличие сенсора движения,

2) схема переключения заключается в переключении камеры из режима дальней съемки в режим ближней съемки и обратно,

3) наличие автоматического переключения,

4) проблемы задержки переключения не решаются,

5) проблемы нежелательного переключения не решаются,

6) проблемы нестабильного поведения в случаях специального использования не решаются.

Представленный анализ функциональностей известных смартфонов наглядно демонстрирует преимущества заявленного способа и устройства автоматического переключения режимов работы камеры, например смартфона.

Далее будут описаны основные ключевые положения способа и устройства автоматического переключения режимов работы камеры. Как уже указывалось ранее, в рамках настоящего изобретения рассматривается возможность автоматического переключения режима камеры из режима дальней съемки в режим ближней съемки и наоборот.

При работе камеры в режиме дальней съемки (широкоугольный режим), см.фиг.7А, выполняются следующие этапы:

При захвате изображения сцены с целевым объектом в режиме дальней съемки работы камеры обеспечивается получение данных для текущего кадра, а именно обеспечиваются стереоданные текущего изображения k-ого кадра, включающие, например PDAF данные, полученные с помощью PDAF сенсоров на матрице камеры с технологией Dual Pixel или согласованные данные изображения от двух камер на основании захвата целевого объекта, а также, при необходимости, данные изображения. Каждый кадр полученного изображения рассматривается в виде пикселей или группы пикселей. По выбору: обеспечивают получение данных с сенсоров глубины и/или получение данных с сенсоров движения.

На основании полученных стерео данных с помощью левого и правого изображения из камеры по технологии Dual Pixel или другой пары изображений, например, из стереокамеры, вычисляется диспарантность, которая рассчитывается на основе кривых SAD (сумма абсолютных разностей) между левым и правым изображениями для захваченной сцены с целевым объектом, полученными с помощью камеры.

Следует отметить, что для определения диспарантности (D_k) для выбранного целевого объекта для k-ого кадра на основе полученных PDAF данных, представляющих собой правое и левое изображение целевого объекта, полученных матрицей сенсоров камеры, рассчитывается сумма абсолютных различий, как абсолютная разность между пикселями левого и правого изображений, на основе которых строятся SAD кривые. Формально, диспарантность является точкой локального минимума SAD кривой, поэтому измеряется в количестве пикселей. При этом, SAD кривая представляет собой кривую на 2D графике: оси X соответствует смещение в количестве пикселей левого изображения относительно правого, оси Y - соответствующая сумма попиксельных разностей между изображениями для выбранного фрагмента; SAD кривые авторы изобретения получают посредством сенсоров, встроенных в мобильный телефон, которые называются dual pixels и содержат информацию о двух картинках (левое и правое изображение объекта с телефона с небольшим сдвигом).

Публикации, в которых описывается оценка диспарантности через стереореконструкцию, представлены ниже:

[11] Raajan N, Ramkumar M, Monisha B, Jaiseeli C, venkatesan SP (2012) Disparity estimation from stereo images. In: International conference on modelling optimization and computing, Springer, vol 38, pp 462-472;

[12] S. Mukherjee and R. M. R. Guddeti, “A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision,” in Proceedings of IEEE International Conference on Signal Processing and Communications (SPCOM), (IEEE, 2014), pp. 1-6.

На основании полученных SAD кривых оценивают меру уверенности R₁, полученной диспарантности D_k для захваченного целевого объекта для k-ого кадра.

Применительно к заявленному решению соотношение сигнал/шум может быть аппроксимировано с помощью двух минимальных значений SAD кривой - глобального минимума и подминимума, на основании указанного определяем мера уверенности R₁:

где - уровень сигнала, - уровень шума, - глобальный минимум и - подминимум. Формула (2) характеризует аппроксимацию соотношения сигнал/шум с помощью глобального минимума и подминимума SAD-кривой.

Процесс обработки данных продолжается и определяется расстояние d₁ до целевого объекта, захваченного камерой на основании полученных стерео данных.

По выбору:

- Сравниваются данные изображения по меньшей мере двух последовательных кадров изображения и на основании сравнения указанных данных изображения, вычисляют поле векторов движения mv_{i, j} на сцене, включающей целевой объект, захваченной камерой. Выбирается центральная область вычисленного поля векторов mv_{i, j} к которой применяется модель аффинного преобразования и вычисляются коэффициенты сдвига, поворота, масштабирования. Все коэффициенты вычисляются одновременно. Основные принципы аффинного преобразования раскрыты в следующем источнике информации:

[13] И. М. Виноградов. Аффинное преобразование // Математическая энциклопедия. - М.: Советская энциклопедия. - 1977-1985.

Каждый вектор mv_ij показывает движение одной точки от кадра к кадру, т.е. (,) - координаты начала вектора на рассматриваемом кадре k, а (,) - координаты конца вектора на кадре k+1. При этом (А i, j) - индексы обхода по полю векторов, т.е. векторов из множества точек на одном кадре. Вектор mv_ij описывает переход из точки начала вектора с координатами (,) в текущем кадре k в точку конца вектора с координатами (,) в следующем кадре k+1 (т.е. самого вектора ). В матричном виде для одной пары координат

(,)->(,) аффинное преобразование выглядит следующим образом:

Т.е. аффинное преобразование представляет собой уравнение вида (4) для каждого вектора из области, где Q_k, P_k и A представляют собой компоненты в матричном виде, характеризующие вектора в текущем и последующих кадрах k и k+1, соответственно. Коэффициенты сдвига, поворота и масштабирования получаются из комбинаций искомых корней уравнения , где -значения матрицы А.

Они вычисляются по методу наименьших квадратов (МНК)- поиску корней путем минимизации суммы квадратов разностей между левой и правой частью уравнений по каждому вектору, т.е. минимизации функции , в матричном виде, где матрица:

Раскрываем

Для минимизации необходимо приравнять градиент функции к 0.

Получаем новое матричное уравнение: (7). Наконец, корни уравнения (коэффициенты матрицы ) можно найти методом Гаусса. При этом k обозначает текущий кадр, T-транспонированная матрица.

Пример для матрицы искомое преобразование координат:

Значения - отвечают за сдвиг текущего кадра по осям X и Y, соответственно, относительно предыдущего кадра. Значения отвечают за изменение масштаба, при этом коэффициент изменения масштаба подсчитывается, как:

где

ScaleChange _k+1 - коэффициент изменения масштаба для кадра k+1,

ScaleChange_{k -} коэффициент изменения масштаба для текущего кадра k,

max(α₁,α₅)- максимальное значение из α₁ и α_5.

Значение - отвечает за горизонтальное растяжение целевого объекта на кадре( shear mapping) (пример, преобразование квадрата в параллелограмм), и рассматривается, как заведомо отсутствующий.

Также с помощью модели аффинного преобразования вычисляется коэффициент поворота. Аффинная модель рассматривает поворот точек на кадре вокруг центра кадра, например поворот точки (x, y) на угол θ поворота в радианах. Таким образом, угол θ поворота из нашего преобразования координат можно вычислить следующим образом:

где

α₁,α ₄ - соответствующие значения матрицы А.

- Определяют расстояние d₂ от камеры до целевого объекта на основании вычисленного коэффициента изменения масштаба, на текущем кадре k оно вычисляется следующим образом:

где - начальное расстояние от камеры до целевого объекта при переходе в режим ближней съемки

Следует отметить, что переход из режима дальней съемки в режим ближней съемки осуществляется по достижении определенного порога K, который предварительно определяется в зависимости от типа, используемой камеры, в качестве примера пороговое значение выбрано авторами изобретения равным 30 см, это расстояние и является начальным расстоянием для режима ближней съемки, но указанное значение приведено авторами только в качестве примера, и может варьироваться.

-Определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта.

Например, мера уверенности R₂ может быть рассчитана так:

где N - общее число векторов движения (mv_{i, j}), length(mv_{i, j}) - длина вектора mv_{i, j} , avg_magnitude_bound - вручную задается, как параметр для среднего значения длины векторов из поля векторов, R₂_threshold - вручную задается, как параметр для минимально допустимой меры уверенности. Таким образом, аномально длинные вектора приводят к низкой мере уверенности, что согласовывается с нашей подзадачей покадровой оценки изменения масштаба объекта.

- Определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины,

- Определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины,

Поскольку для вычисления мер уверенности R₃ и R₄ для расстояний d₃ и d₄, соответственно используются сенсоры глубины и сенсоры движения, то их показания можно оценить напрямую как сигнал/шум по выражению (1), представленному ранее.

В частности, оценку меры уверенности R₃ можно выполнить способом, описанным в следующих источниках:

[3] J. Zhu, L. Wang, R. Yang, J. E. Davis and Z. pan, "Reliability Fusion of Time-of-Flight Depth and Stereo Geometry for High Quality Depth Maps," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 7, pp. 1400-1414, July 2011, doi: 10.1109/TPAMI.2010.172.

- Определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения, согласно выражению (1). Определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения, как раскрыто в публикациях:

[14] Terra, R., Figueiredo, L., Barbosa, R.S., & Anacleto, R. (2014). Traveled Distance Estimation Algorithm for Indoor Localization. Procedia Technology, 17, 248-255.

[15] Shi, Yonglei & Fang, Liqing & Guo, Deqing & Qi, Ziyuan & Wang, Jinye & Che, Jinli. (2021). Research on distance measurement method based on micro-accelerometer. AIP Advances. 11. 055126. 10.1063/5.0054463.

Оценку меры уверенности R₄ можно выполнить способом, описанным в следующих источниках (сенсоры объединены под названием IMU - Inertial Measurement Unit - можно рассчитать через RMSE), как раскрыто в публикации:

[16] Cho YS, Jang SH, Cho JS, Kim MJ, Lee HD, Lee SY, Moon SB. Evaluation of Validity and Reliability of Inertial Measurement Unit-Based Gait Analysis Systems. Ann Rehabil Med. 2018 Dec;42(6):872-883. doi: 10.5535/arm.2018.42.6.872. publ. 2018 Dec 28. PMID: 30613081; PMCID: PMC6325313.

- Инициализируют средство отслеживания (трекер) для целевого объекта только на первом кадре(начальном) посредством ограничивающего прямоугольника на экране камеры и осуществляют отслеживание целевого объекта на последующих кадрах, и вычисляют коэффициент масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом,

-Определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом при инициализации средства отслеживания,

-Определяют меру уверенности R₅ расстояния d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом при инициализации средства отслеживания

Например, меру уверенности R₅ определяют, как:

На каждом кадре средством отслеживания сначала задается набор ключевых точек для отслеживания, в целях оптимизации - в нашем случае - он равномерно распределяется по ограничивающему прямоугольнику в виде узлов 2D сетки.

Пример ограничивающего прямоугольника в виде узлов 2D сетки представлен на фиг.9.

Затем средство отслеживания использует оптический поток, который выполняет отслеживание каждой точки. Таким образом, получается набор предсказанных векторов. Окончательный результат (изменение масштаба, смещение) извлекается посредством процедуры «голосования» с учетом каждого вектора.

Следует отметить, что более детально, методы и приемы получения меры уверенности при инициализации средства отслеживания раскрыты в публикации:

[17] Z. Kalal, K. Mikolajczyk and J. Matas, "Forward-Backward Error: Automatic Detection of Tracking Failures," 2010 20th International Conference on Pattern Recognition, Istanbul, Turkey, 2010, pp. 2756-2759, doi: 10.1109/ICPR.2010.675.

Далее, в настоящем описании приводится лишь краткое описание параметров получения выражения(13), которые, как уже указывалось, детально раскрыты в публикации[17]:

где: - нормированные коэффициенты взаимной корреляции. Это мера сходства фрагментов изображения. Для каждого вектора она вычисляется для пары фрагментов (соответствующих ограничивающему прямоугольнику на кадре, см.фиг.9) из изображения i и изображения i+1 со смещенным центром согласно вектору . Значение меры сходства вычисляется для каждой пары фрагментов, полученной от одного из векторов движения. Медиана по всем значениям меры сходства фрагментов изображения берется за финальную оценку.

- ошибка прямого-обратного отслеживания: средство отслеживания применяется для каждой ключевой точки при переходе от кадра k к кадру k+1 (прямое отслеживание). Для подсчета ошибки необходимо также применить средство отслеживания для кадров изображений в обратном порядке, используя полученные при прямом отслеживании точки в качестве ключевых начальных точек. В результате расстояние между начальной точкой прямого отслеживания и конечной точкой обратного отслеживания определяет ошибку. Окончательное значение вычисляется на основании медианы по всем значениям ошибки для каждой ключевой точки

«good_point_fraction» - доля исходных ключевых точек после фильтрации. Фильтрация происходит следующим образом: указанные выше значения и подсчитываются для каждой ключевой точки, фильтруются (не учитываются в доле) те точки, на которых подсчет дал значения ниже пороговых (пороговые известны заранее и задаются вручную в результате предварительных экспериментов). Процесс фильтрации детально раскрыто в публикации[17]).

Символ « ̂ »(hat) над каждым выражением - означает нормализованное значение - в диапазоне [0,1]. Его получают каждый раз путем сравнения с пороговым значением (настроенным вручную). Таким образом, также гарантируется, что R₅ находится в диапазоне [0,1]. А если средство отслеживания теряет объект - значение меры уверенности R₅ устанавливается в 0 до повторной инициализации средства отслеживания(см. публикацию [17]).

Далее выполняется гибридная оценка расстояния от камеры до целевого объекта в текущем кадре k на основании полученных значений расстояния d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадр. При этом скорректированное расстояние dh вычисляется из выражения:

d_h=d₁ * R₁+d₂ * R₂+d₃ * R₃+d₄ * R₄+d₅ * R₅ (14);

- принимают решение о переключении камеры в режим ближней съемки, если полученное скорректированное расстояние d_h меньше предварительно определенного порогового значения K (например, 30 см, но значение может быть и другим). Это пороговое значение зависит от конкретных параметров камеры, используемой при съемке изображения, т.е. на каких расстояниях каждый из режимов (ближней, дальней) может фокусироваться.

Этапы работы камеры в режиме ближней съемки (сверхширокоугольный режим) будут описаны со ссылкой на фиг.7B.

При переключении камеры на режим ближней съемки выполняются следующие этапы.

При захвате изображения сцены с целевым объектом в режиме ближней съемки работы камеры обеспечивается получение данных для текущего кадра, т.е. обеспечиваются данные текущего изображения (картинка) k-ого кадра. По выбору: обеспечивают получение данных с сенсоров глубины и/или получение данных с сенсоров движения, например с акселерометра, гироскопа, магнитометра.

Выполняется инициализация функции отслеживания и выполняется вначале нахождение и затем отслеживание целевого объекта, который при инициализации отслеживания выделяется ограничивающим прямоугольником через трекер автофокуса или через центральный регион изображения, основные принципы работы средства отслеживания детально раскрыты в патенте :[7]RU2778355C2, опубл. 17.08.2022 г., того же патентообладателя (САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД., KR), что и патентообладатель заявленного изобретения.

Нахождение целевого объекта может выполняться автоматически или непосредственно пользователем посредством нажатия пальцем на экран в зоне целевого объекта. Методы нахождения и отслеживания объекта при съемке камерой широко известны в уровне техники:

[18] Zhang, XQ., Jiang, RH., Fan, CX. et al. Advances in Deep Learning Methods for Visual Tracking: Literature Review and Fundamentals. Int. J. Autom. Comput. 18, 311-333 (2021). https://doi.org/10.1007/s11633-020-1274-8);

[19] Soleimanitaleb, Zahra & Keyvanrad, Mohammad. (2022). Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics.;

[20] Luo, Wenhan & Xing, Junliang & Milan, Anton & Zhang, Xiaoqing & Liu, Wei & Zhao, Xiaowei & Kim, Tae-Kyun. (2017). Multiple Object Tracking: A Literature Review. Artificial Intelligence. 293. 10.1016/j.artint.2020.103448.

В режиме ближней съемки распознается специальный (предварительно определенный) случай использования: при потере целевого объекта на сцене, захваченной камерой, т.е. целевой объект перемещается и выходит из поля зрения камеры

При этом, в случае потери целевого объекта в кадре, камера из режима ближней съемки переключается в режим дальней съемки.

Сравниваются данные изображения по меньшей мере двух последовательных кадров и на основании сравнения указанных данных изображения получаем вектора движения mv_{i, j} для каждого пикселя или группы пикселей сцены, включающей целевой объект. Процесс получения векторов движения при съемке камерой детально раскрыт в публикациях:

[21] Heuer, . (1999). Global motion estimation in image sequences using robust motion vector field segmentation. 261-264. 10.1145/319463.319620;

[22] Manikandan, M. & Kumar, Vijay & Narayanadass, Ramadass. (2006). Motion estimation method for video compression - An overview. 5 pp. - 5. 10.1109/WOCN.2006.1666680.

Выполняют обновление(каждый k кадр, где k>1, таким образом для каждых последующих кадров получают новые векторы движения.

Выбирается центральная область вычисленного поля векторов mv_{i, j} к которой применяется модель аффинного преобразования и вычисляются коэффициенты сдвига, поворота, масштабирования. Все коэффициенты вычисляются одновременно. Пример (x, y - координаты, k+1 - текущий кадр, k - предыдущий):

Определяют расстояние d₂ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования. Процесс определения расстояния от камеры до целевого объекта на основании векторов движения при съемке камерой детально раскрыт в публикации:

[23]Ho, Hann Woei & Croon, Guido & Chu, Q.P. (2017). Distance and velocity estimation using optical flow from a monocular camera. International Journal of Micro Air Vehicles. 9. 198-208. 10.1177/1756829317695566.

Определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта

Например, мера уверенности R₂ может быть рассчитана так:

где N - общее число векторов движения mv_{i, j,} length(mvi, j) - длина вектора mvi, j , avg_magnitude_bound - вручную задается, как параметр для среднего значения длины векторов из поля векторов, R2_threshold - вручную задается, как параметр для минимально допустимой меры уверенности.

Или так:

R₂ = Error(ROI-of-image-frame_i+1, f(ROI-of-Image-frame_i)) ,

где f - функция которая применяет изменение размеров и сдвиг, подсчитанные с помощью аффинной трансформации.

Error - функция подсчета ошибки между измененным функцией f изображением f(I_k-1) на (k-1)том кадре и оригинальным изображением I_i на k-ом кадре.

По выбору:

Происходит оценка расстояния до целевого объекта с помощью средства отслеживания(трекер) посредством измерения изменений размера ограничивающего прямоугольника средства отслеживания на экране камеры. Вычисляют коэффициент масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом,

Определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом при инициализации средства отслеживания. Оценка расстояния с помощью средства отслеживания посредством ограничивающего прямоугольника раскрыта в следующих источника информации:

[24] Vajgl, M.; Hurtik, P.; Nejezchleba, T. Dist-YOLO: Fast Object Detection with Distance Estimation. Appl. Sci. 2022, 12, 1354. https://doi.org/10.3390/app12031354).

Определяют меру уверенности R₅ расстояния d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом при инициализации средства отслеживания

Например, меру уверенности R₅ определяют, как:

(13)

На каждом кадре средством отслеживания сначала задается набор ключевых точек для отслеживания, в целях оптимизации - в нашем случае - он равномерно распределяется по ограничивающему прямоугольнику в виде узлов 2D сетки.

Пример ограничивающего прямоугольника в виде узлов 2D сетки представлен на фиг.9.

Затем средство отслеживания использует оптический поток, который выполняет отслеживание каждой точки. Таким образом, получается набор предсказанных векторов. Окончательный результат (изменение масштаба, смещение) извлекается посредством процедуры «голосования» с учетом каждого вектора.

Следует отметить, что более детально, методы и приемы получения меры уверенности при инициализации средства отслеживания раскрыты в публикации, уже упомянутой выше:

[17] Z. Kalal, K. Mikolajczyk and J. Matas, "Forward-Backward Error: Automatic Detection of Tracking Failures," 2010 20th International Conference on Pattern Recognition, Istanbul, Turkey, 2010, pp. 2756-2759, doi: 10.1109/ICPR.2010.675.

Далее, в настоящем описании приводится лишь краткое описание параметров получения выражения(13), которые, как уже указывалось, детально раскрыты в публикации [17]:

где: - нормированные коэффициенты взаимной корреляции. Это мера сходства фрагментов изображения. Для каждого вектора она вычисляется для пары фрагментов (соответствующих ограничивающему прямоугольнику на кадре, см.фиг.9) из изображения i и изображения i+1 со смещенным центром согласно вектору . Значение меры сходства вычисляется для каждой пары фрагментов, полученной от одного из векторов движения. Медиана по всем значениям меры сходства фрагментов изображения берется за финальную оценку.

- ошибка прямого-обратного отслеживания: средство отслеживания применяется для каждой ключевой точки при переходе от кадра k к кадру k+1 (прямое отслеживание). Для подсчета ошибки необходимо также применить средство отслеживания для кадров изображений в обратном порядке, используя полученные при прямом отслеживании точки в качестве ключевых начальных точек. В результате расстояние между начальной точкой прямого отслеживания и конечной точкой обратного отслеживания определяет ошибку. Окончательное значение вычисляется на основании медианы по всем значениям ошибки для каждой ключевой точки

«good_point_fraction» - доля исходных ключевых точек после фильтрации. Фильтрация происходит следующим образом: указанные выше значения и подсчитываются для каждой ключевой точки, фильтруются (не учитываются в доле) те точки, на которых подсчет дал значения ниже пороговых (пороговые известны заранее и задаются вручную в результате предварительных экспериментов). Процесс фильтрации детально раскрыто в публикации[17]).

Символ « ^ »(hat) над каждым выражением - означает нормализованное значение - в диапазоне [0,1]. Его получают каждый раз путем сравнения с пороговым значением (настроенным вручную). Таким образом, также гарантируется, что R₅ находится в диапазоне [0,1]. А если средство отслеживания теряет объект - значение меры уверенности R₅ устанавливается в 0 до повторной инициализации средства отслеживания(см. публикацию [17]).

По выбору:

- обеспечивают получение стереоданных от камеры смартфона

определяют диспарантность D_k сцены, включающей целевой объект, захваченной камерой, на основании полученных стерео данных в определенный момент времени для каждого текущего кадра,

-определяют меру уверенности R₁ полученной диспарантности D_k на основании полученных стерео данных,

-определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины,

-определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения,

-определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения.

Далее выполняется гибридная оценка расстояния от камеры до целевого объекта в текущем кадре k на основании полученных значений расстояния d₁,d₂,d₃,d₄,d₅ от камеры до целевого объекта и мер уверенности R₁,R₂,R₃,R₄,R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадр. При этом скорректированное расстояние dh вычисляется из выражения:

d_h=d₁ * R₁+d₂ * R₂+d₃ * R₃+d₄ * R₄+d₅ * R₅ (14).

И принимают решение о переключении камеры в режим дальней съемки, если полученное скорректированное расстояние d_h больше или равно предварительно определенному пороговому значению K (например, 35 см, но значение может быть и другим). Это пороговое значение зависит от конкретных параметров камеры, используемой при съемке изображения, т.е. на каких расстояниях каждый из режимов (ближней, дальней) может фокусироваться.

Значение может зависеть от значений расстояния, при котором фокусируется режим дальней съемки. При этом это значение должно отличаться от значения для перехода в режим ближней съемки, поскольку при совпадении этих значений будут постоянные переключения из одного режима в другой.

Далее будет описана полная схема работы способа автоматического переключения режима работы камеры от получения входных данных до вывода результата согласно заявленному изобретению со ссылкой на фиг.7A, фиг.7B, представлена блок-схема последовательности этапов заявленного способа.

Ключевое положение 1: Гибридная оценка расстояния до целевого объекта (со ссылкой на фиг.7А, фиг.7В).

Входные данные для инициализации заявленного способа:

- данные изображения(картинка), например сцены, содержащей целевой объект и полученные с камеры, встроенной в смартфон или подобное устройство, к данным изображения относятся:

- данные изображения на основе YUV или RGB модели и т.п., полученные для текущего k-ого кадра с текущей камеры: режима дальней съемки или режима ближней съемки,

- данные изображения, полученные с предыдущих кадров в режиме ближней съемки

- стерео данные изображения, например, полученные с камеры по технологии dual pixel или PDAF данные изображения, полученные с помощью PDAF сенсоров на матрице камеры устройства, для текущего кадра в режиме дальней съемки,

- по выбору, данные движения, полученные, например, с помощью сенсора движения, акселерометра или гироскопа и данные глубины, полученные, например, с помощью сенсора глубины,

- K, M - пороговые значения для входа и выхода из текущего режима, т.е. в данном случае для переключения камеры в режим ближней съемки и в режим дальней съемки, соответственно. Пороговые значения рассчитываются эмпирическим путем, исходя из диапазона оптимальных фокусных расстояний для линзы дальней камеры и линзы ближней камеры при конкретной реализации технологии в камере. В результате проведения экспериментальных исследований и условий комфортного наблюдения для пользователя и на основе проведения подбора оптимальных значений, получены следующие пороговые значения, например, в качестве неограничивающего примера: K=30см и M=35см или K=29см и M=32см.

Представленные пороговые значения не ограничиваются представленными значения и приведены в настоящем раскрытии только в качестве иллюстративного примера.

Выходные данные, получаемые в результате выполнения заявленного способа:

T ∈ { режим дальней съемки, режим ближней съемки }- принятие решения о необходимости инициализации переключения режима камеры.

Последовательность этапов переключения камеры (гибридный алгоритм, используемый для переключения камеры)

А. Режим дальней съемки

1. Вычисление SAD (Sum of Absolute Differences, сумма абсолютных различий)кривых для всей сцены, захваченной камерой на основании стерео данных, полученных в режиме дальней съемки(SAD кривая представляет собой кривые на 2D графике: оси X соответствует смещение в количестве пикселей левого изображения относительно правого, оси Y - соответствующая сумма попиксельных разностей между изображениями для выбранного фрагмента; SAD кривые авторы изобретения получают посредством сенсоров, встроенных в мобильный телефон, которые называются dual pixels и содержат информацию о двух картинках (левое и правое изображение объекта с телефона с небольшим сдвигом).

2. Вычисление диспарантности D_k на основании построенных SAD кривых (диспарантность является точкой локального минимума SAD кривой).

3. Из каждой SAD кривой выделяются минимальные значения SAD кривой: глобальный минимум и подминимум, а также другие точки кривой, которые используются для оценки меры уверенности R₁ вычисленной диспарантности:

, (2)

где -уровень сигнала, -уровень шума, -глобальный минимум и -подминимум. Формула (2) характеризует аппроксимацию соотношения сигнал/шум с помощью глобального минимума и подминимума SAD-кривой.

4. Определение специального случая использования, которое детально раскрыто в Ключевом положении 2. Если специальный случай использования не выявлен, выполнение способа продолжается.

5. Определяют расстояние(d₁) от камеры до целевого объекта на основании вычисленной диспарантности D_k для текущего кадра (вычисление расстояния на основании диспарантности детально описано в [7]патенте RU2778355C2).

6. (Вариант 1)

Сравниваются данные изображения по меньшей мере двух последовательных кадров и на основании сравнения указанных данных изображения получаем вектора движения mv_{i, j} для каждого пикселя или группы пикселей сцены, включающей целевой объект, захваченной камерой. Процесс получения векторов движения при съемке камерой детально раскрыт в публикациях:

[21] Heuer, . (1999). Global motion estimation in image sequences using robust motion vector field segmentation. 261-264. 10.1145/319463.319620;

[22] Manikandan, M. & Kumar, Vijay & Narayanadass, Ramadass. (2006). Motion estimation method for video compression - An overview. 5 pp. - 5. 10.1109/WOCN.2006.1666680.

Выполняют обновление(каждый k кадр, где k>1, таким образом для каждых последующих кадров получают новые векторы движения.

Выбирается центральная область вычисленного поля векторов mv_{i, j} к которой применяется модель аффинного преобразования, которая детально была описана ранее в настоящем описании, и вычисляются коэффициенты сдвига, поворота, масштабирования. Все коэффициенты вычисляются одновременно. Пример (x, y - координаты, k+1 - текущий кадр, k - предыдущий) для матрицы искомое преобразование координат:

(8)

Определяют расстояние d₂ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования. Процесс определения расстояния от камеры до целевого объекта на основании векторов движения при съемке камерой детально раскрыт в публикации

[23] Ho, Hann Woei & Croon, Guido & Chu, Q.P.. (2017). Distance and velocity estimation using optical flow from a monocular camera. International Journal of Micro Air Vehicles. 9. 198-208. 10.1177/1756829317695566.

Определяют расстояние d₂ и меру уверенности R₂ расстояния d₂ от камеры до целевого объекта на основании вычисленного коэффициента изменения масштаба, на текущем кадре k согласно выражению(11), описанному выше.

7. (Вариант 2) Инициализируют средство отслеживания для целевого объекта посредством ограничивающего прямоугольника на экране камеры и осуществляют отслеживание целевого объекта на последующих кадрах, и вычисляют коэффициент масштабирования ограничивающего прямоугольника с находящейся в ней целевым объектом.

Определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом при инициализации средства отслеживания.

Определяют меру уверенности R₅ расстояния d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом при инициализации средства отслеживания согласно выражению (13), описанному ранее в настоящем описании.

8. (Вариант 3) Определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины, определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины.

9. (Вариант 4) Определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения, определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения.

10. Выполняют гибридную оценку расстояния от камеры до целевого объекта в текущем кадре k на основании полученных значений расстояния d₁,d₂,d₃,d₄,d₅ от камеры до целевого объекта и мер уверенности R₁,R₂,R₃,R₄,R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадре. При этом скорректированное расстояние dh вычисляется из выражения:

d_h=d₁ * R₁+d₂ * R₂+d₃ * R₃+d₄ * R₄+d₅ * R₅ (14).

11. Принимают решение о переключении камеры в режим ближней съемки, если полученное скорректированное расстояние d_h меньше предварительно определенного порогового значения K (например, 30 см, но значение может быть и другим). Это пороговое значение зависит от конкретных параметров камеры, используемой при съемке изображения, т.е. на каких расстояниях каждый из режимов (ближней, дальней) может фокусироваться.

Ключевое положение 1 : Гибридный алгоритм для оценки расстояния до целевого объекта (со ссылкой на фиг.7А, фиг.7Bb).

Входные данные для инициализации заявленного способа:

- данные изображения, например сцены, содержащие целевой объект и полученные с камеры, встроенной в смартфон или подобное устройство, к данным изображения относятся:

- данные изображения на основе YUV или RGB модели и т.п., полученные для текущего k-ого кадра с текущей камеры: режима дальней съемки или режима ближней съемки;

- данные изображения, полученные с предыдущих кадров в режиме ближней съемки;

- стерео данные изображения, например, полученные из камеры по технологии dual pixel или PDAF данные изображения, полученные с помощью PDAF сенсоров на матрице камеры устройства, для текущего кадра;

- по выбору, данные движения, полученные, например, с помощью сенсора движения, акселерометра или гироскопа и данные глубины, полученные, например, с помощью сенсора глубины,

- K, M - пороговые значения для входа и выхода из текущего режима, т.е. в данном случае для переключения камеры в режим ближней съемки и в режим дальней съемки, соответственно. Пороговые значения рассчитываются эмпирическим путем, исходя из диапазона оптимальных фокусных расстояний для линзы дальней камеры и линзы ближней камеры при конкретной реализации технологии в камере. В результате проведения экспериментальных исследований и условий комфортного наблюдения для пользователя и на основе проведения подбора оптимальных значений, получены следующие пороговые значения, например, в качестве неограничивающего примера: K=30см и M=35см или K=29см и M=32см. Представленные пороговые значения не ограничиваются представленными значениями и приведены в настоящем раскрытии только в качестве иллюстративного примера.

Выходные данные, получаемые в результате выполнения заявленного способа:

T ∈ { режим дальней съемки, режим ближней съемки }- принятие решения о необходимости инициализирования переключения камеры.

Последовательность этапов переключения камеры (гибридный алгоритм переключения)

B. Режим ближней съемки

1. Выполняется инициализация функции отслеживания и выполняется вначале нахождение и затем отслеживание целевого объекта, который при инициализации отслеживания выделяется ограничивающим прямоугольником.

Нахождение целевого объекта может выполняться автоматически или непосредственно пользователем посредством нажатия пальцем на экран в зоне целевого объекта. Методы нахождения и отслеживания объекта при съемке камерой широко известны в уровне техники:

[18] Zhang, XQ., Jiang, RH., Fan, CX. et al. Advances in Deep Learning Methods for Visual Tracking: Literature Review and Fundamentals. Int. J. Autom. Comput. 18, 311-333 (2021). https://doi.org/10.1007/s11633-020-1274-8;

[19] Soleimanitaleb, Zahra & Keyvanrad, Mohammad. (2022). Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics;

[20] Luo, Wenhan & Xing, Junliang & Milan, Anton & Zhang, Xiaoqing & Liu, Wei & Zhao, Xiaowei & Kim, Tae-Kyun. (2017). Multiple Object Tracking: A Literature Review. Artificial Intelligence. 293. 10.1016/j.artint.2020.103448.

2. Определение специального случая использования, который детально раскрыт в Ключевом положении 2. Если специальный случай использования, при котором происходит переключение в режим дальней съемки, не выявлен, в данном случае выполнение способа продолжается

3. Сравниваются данные изображения по меньшей мере двух последовательных кадров и на основании сравнения указанных данных изображения получаем вектора движения mv_{i, j} для каждого пикселя или группы пикселей сцены, включающей целевой объект. Процесс получения векторов движения при съемке камерой детально раскрыт в публикациях:

[21] Heuer, (1999). Global motion estimation in image sequences using robust motion vector field segmentation. 261-264. 10.1145/319463.319620;

[22] Manikandan, M. & Kumar, Vijay & Narayanadass, Ramadass. (2006). Motion estimation method for video compression - An overview. 5 pp. - 5. 10.1109/WOCN.2006.1666680.

4. Выполняют обновление каждый кадр k, где k>1, таким образом для каждых последующих кадров получают новые векторы движения.

5. Выбирается центральная область вычисленного поля векторов mv_{i, j} к которой применяется модель аффинного преобразования, которая детально была описана ранее в настоящем описании, и вычисляются коэффициенты сдвига, поворота, масштабирования. Все коэффициенты вычисляются одновременно. Пример (x, y - координаты, k+1 - текущий кадр, k - предыдущий кадр) для матрицы искомое преобразование координат:

(8)

6.Определяют расстояние d₂ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования. Процесс определения расстояния от камеры до целевого объекта на основании векторов движения при съемке камерой детально раскрыт в публикации:

[23] Ho, Hann Woei & Croon, Guido & Chu, Q.P.. (2017). Distance and velocity estimation using optical flow from a monocular camera. International Journal of Micro Air Vehicles. 9. 198-208. 10.1177/1756829317695566.

7. Определяют расстояние d₂ и меру уверенности R₂ расстояния d₂ от камеры до целевого объекта на основании вычисленного коэффициента изменения масштаба, на текущем кадре k согласно выражению(11), описанному выше.

8. (Вариант 1) Определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом при инициализации средства отслеживания согласно выражению (13), описанному ранее в настоящем описании.

9. (Вариант 2) Вычисление SAD (Sum of Absolute Differences, сумма абсолютных различий) кривых для всей сцены, захваченной камерой на основании стерео данных, полученных (SAD кривая представляет собой кривые на 2D графике: оси X соответствует смещение в количестве пикселей левого изображения относительно правого, оси Y - соответствующая сумма попиксельных разностей между изображениями для выбранного фрагмента; SAD кривые авторы изобретения получают посредством сенсоров, встроенных в мобильный телефон, которые называются dual pixels и содержат информацию о двух картинках (левое и правое изображение объекта с телефона, смартфона или подобного устройства с небольшим сдвигом).

Вычисление диспарантности D_k на основании построенных SAD кривых (диспарантность является точкой локального минимума SAD кривой).

Из каждой SAD кривой выделяются минимальные значения SAD кривой: глобальный минимум и подминимум, а также другие точки кривой, которые используются для оценки меры уверенности R₁ вычисленной диспарантности:

(2)

где -уровень сигнала, -уровень шума, -глобальный минимум и -подминимум. Формула (1) характеризует аппроксимацию соотношения сигнал/шум с помощью глобального минимума и подминимума SAD-кривой

Определяют расстояние(d₁) от камеры до целевого объекта на основании вычисленной диспарантности D_k для текущего кадра (вычисление расстояния на основании диспарантности детально описано в патенте [7] RU2778355C2).

10. (Вариант 3) Определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины, определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины.

11. (Вариант 4) Определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения, определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения.

12. Выполняют гибридную оценку расстояния от камеры до целевого объекта в текущем кадре k на основании полученных значений расстояний d₁,d₂,d₃,d₄,d₅ от камеры до целевого объекта и мер уверенности R₁,R₂,R₃,R₄,R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадр. При этом скорректированное расстояние d_h вычисляется из выражения:

d_h=d₁ * R₁+d₂ * R₂+d₃ * R₃+d₄ * R₄+d₅ * R₅ (14).

13. Принимают решение о переключении камеры из режима ближней съемки в режим дальней съемки, если полученное скорректированное расстояние d_h больше предварительно определенного порогового значения M (например, 35 см, но значение может быть и другим). Это пороговое значение зависит от конкретных параметров камеры, используемой при съемке изображения, т.е. на каких расстояниях каждый из режимов (ближней, дальней) может фокусироваться.

Ключевое положение 2 (со ссылкой на фиг.7A, фиг.7B)

Обработка специального случая (предварительно определенного случая) использования. На этапе определения специального случая использования Ключевого положения 1 для режима дальней съемки работы камеры выполняется обработка специального случая использования.

Входные данные:

Изображение I_k на кадре k

Мера уверенности R₁ и диспарантность D_k, рассчитанная на этапах Ключевого положения 1.

По выбору, результат работы средства отслеживания (ограничивающий прямоугольник и наличие или отсутствие целевого объекта на кадре k).

По выбору, векторы движения (GMV данные), полученные на этапах Ключевого положения 1.

По выбору, данные движения, полученные, например, с помощью сенсора движения, акселерометра или гироскопа и данные глубины, полученные, например, с помощью сенсора глубины.

Выходные данные:

Ui-i-случай, определенный из предварительно определенных случаев U использования.

Последовательность этапов обработки специального случая использования(алгоритм обработки)

А. Режим дальней съемки(широкоугольный режим)(см.фиг.7А)

1. Считают функцию f_R(R₁, D_k, I_k), которая зависит от данных: мера уверенности R₁, диспарантность D_k, изображение I_k c k-ого кадра, полученных на этапах Ключевого положения 1. По выбору, она также может зависеть от данных: результат работы средства отслеживания (ограничивающий прямоугольник и наличие или отсутствие целевого объекта на кадре k), векторы движения (GMV данные), полученные на этапах Ключевого положения 1, данные движения, полученные, например, с помощью сенсора движения, акселерометра или гироскопа и данные глубины, полученные, например, с помощью сенсора глубины.

В простом случае функция f_R может быть равна R₁.

f_R(R₁, D_k, I_k)=R₁

Результат функции f_R(R₁, D_k, I_k) сравнивают с порогом Rt.

А) если результат функции f_R(R₁, D_k, I_k) превышает порог, т.е. f_R(R₁, D_k, I_k)) > R_t, делается вывод о стандартном случае использования,

B) если результат функции f_R(R₁, D_k, I_k) не превышает порог, т.е. f_R(R₁, D_k, I_k) ≤ R_t, делается вывод об специальном случае использования, а именно случай безтекстурного объекта на однотонном фоне или однотонного фона. Например, съемки однотонной стены без рисунка или стола без предметов. Порог Rt подбирается на основе данных в экспериментах. Например, если результат функции f_R(R₁, D_k, I_k) измеряется от 0 до 1, значение Rt может быть 0.8.

2. По выбору, кроме случая однотонного фона также распознается случай низкой освещенности посредством другой функции f_R1(R₁, D_k, I_k) от тех же исходных данных.

Следует отметить, что использование гибридной оценки расстояния решает проблему неточности дистанции в таких случаях как: целевой объект представляет собой прозрачный объект, целевой объект представляет собой отражающий объект, съемка целевого объекта, находящегося за стеклом, низкая освещенность или эффект белой стены, когда камера смотрит на однородный фон, локальные перемещения объекта при неподвижном заднем фоне, поворот или дрожание камеры.

3. Продолжается переход на этапы Ключевого положения 1 согласно фиг.7A, 7B.

Ключевое положение 2 (со ссылкой на фиг.7a, фиг.7b)

Обработка специального (предварительно определенного) случая использования. На этапе определения специального случая использования Ключевого положения 1(см. фиг.7B) для режима ближней съемки работы камеры выполняется обработка специального случая использования.

Входные данные:

Изображение I_k на кадре k

Надежность R₅, полученная на этапах Ключевого положения 1

Результат работы средства отслеживания (ограничивающий прямоугольник и наличие или отсутствие целевого объекта на кадре N)

По выбору, векторы движения (GMV данные), полученные на этапах Ключевого положения 1.

По выбору, данные движения, полученные, например, с помощью сенсора движения, акселерометра или гироскопа и данные глубины, полученные, например, с помощью сенсора глубины.

Выходные данные:

Ui-i-случай, определенный из предварительно определенных случаев U использования.

Последовательность этапов обработки специального случая использования(алгоритм обработки)

B. Режим ближней съемки (сверхширокоугольный режим)(см.фиг.7B).

1. Инициализация процесса отслеживания целевого объекта с использованием функции ограничивающего прямоугольника для контура целевого объекта.

Определение ограничивающего прямоугольника при инициализации при процедурах отслеживания объекта широко известно в уровне техники, и может быть выполнено: посредством сегментации изображения, посредством выбора заданного целевого объекта вручную пользователем, инициирования по центру ограничивающего прямоугольника, и раскрыто в следующих источниках информации:

[25] He, Mengqi & Zhang, Jing & Yu, Wenxin. (2022). Salient Object Detection via Bounding-box Supervision.

2. По выбору, использование функции автоматического отслеживания может быть выполнено после преобразования картинки (изображения объекта): из изображения в режиме дальней съемки в изображение в режиме ближней съемки, а именно ограничивающий прямоугольник в режиме дальней съемки (полученный доступным в режиме дальней съемки трекером), преобразуется в ограничивающий прямоугольник в режиме ближней съемки посредством функции, преобразующей изображение в режиме дальней съемки в изображение в режиме ближней съемки. Пример автоматического отслеживания объекта при съемке изображения детально раскрыт в [7] патенте RU2778355C2, опубл. 17.08.2022 г., того же патентообладателя (САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД., KR), что и патентообладатель заявленного изобретения.

3. По выбору, построение поля векторов движения и обновление поля векторов движения (GMV данные) и данных отслеживания каждый кадр k, где k>1, таким образом для каждых последующих кадров получают новые векторы движения.

4. Проверка, если при отслеживании потерян целевой объект:

Средство отслеживания отслеживает объект. Если ограничивающий прямоугольник выходит за границы кадра полностью, устанавливается потеря целевого объекта в текущем кадре. В случае его потери:

По выбору, проверяется изменение сцены с помощью поля векторов движения.

По выбору, надежность R₅, полученная на этапах Ключевого положения 1, может быть использована для подтверждения или опровержения потери объекта.

По выбору, после потери объекта может быть дополнительна проведена проверка гибридной оценки d_h, полученной на этапах Ключевого положения 1, если при ее вычислении использовались как минимум одна из оценок d₁ и d_3.

При подтверждении случая потери объекта, происходит переключение в режим дальней съемки.

5. По выбору, данные движения могут использоваться для определения случая поворота камеры относительно объекта.

6. Продолжается переход на этапы Ключевого положения 1 согласно фиг.7A, 7B.

Заявленное изобретение обеспечивает использование устройства и способа переключения режимов работы камеры с учетом следующих функциональностей:

1) Процесс переключения режимов работы камеры выполняется плавно и точно и является последовательным при выполнении переключения, поскольку для принятия решения о переключении используется различная информация, получаемая из множества различных сенсоров.

2) Процесс переключения камеры защищен от нежелательных переключений камеры и дрожания или мельканий изображений, поскольку в изобретении учитываются соответствующие пороговые значения для перевода камеры в режим дальней съемки и в режим ближней съемки.

3) Способ и устройство автоматического переключения режимов работы камеры обеспечивают стабильное переключение камеры при предварительно определенных случаях использования, таких как, выход целевого объекта из кадра, низкая освещенность/эффект белой стены, когда камера смотрит на однородный фон, локальные перемещения объекта при неподвижном заднем фоне, поворот или дрожание камеры.

4) Принятие решения о переключении режима камеры в заявленном изобретения выполняется в реальном времени благодаря расширенному использованию различных источников информации и высокой оптимизации процессов обработки полученных данных.

5) Решения, реализуемые в заявленном способе и устройстве переключения режимов работы камеры, не требует больших вычислительных ресурсов для работы на мобильном телефоне.

Далее со ссылкой на фиг.10 будет описано устройство автоматического переключения режима работы камеры, выполненное с возможностью реализации этапов способа, и содержит:

-блок ввода-вывода 1, включающий: графический процессор 2, дисплей 3, камеру 4, блок 5 интерфейса ввода-вывода, включающий интерфейс ввода и интерфейс вывода(не показаны), и

-блок 6 вычислений, содержащий центральный процессор 7, представляет собой части чипсета (системы на кристалле, system on a chip, SoC), например Qualcomm Snapdragon, Nvidia Orin, Intel Quark, Samsung Exynos, Apple Silicon, а также контроллер памяти 8, системную память 9 и накопитель 10.

При этом камера 4 представляет мультикамерную систему, включающую фото и/или видеокамеру, содержащую блок формирования изображений, включающий линзы ближней съемки и дальней съемки камеры, матрицу сенсоров, представляющую собой матрицу PDAF сенсоров, обеспечивающую получение стереоданных при работе камеры, при этом камера выполнена с возможностью захвата целевого объекта и/или целевой сцены и передачи данных изображения целевого объекта и/или целевой сцены в системную память блока вычислений через блок 5 интерфейса ввода-вывода. Пример камеры, используемой в настоящем решении, детально раскрыта в публикациях:

[26] A. S. Olagoke, H. Ibrahim and S. S. Teoh, "Literature Survey on Multi-Camera System and Its Application," in IEEE Access, vol. 8, pp. 172892-172922, 2020, doi: 10.1109/ACCESS.2020.3024568.)

[27] -US20170082823A1, IPC G02B27/64, опубл.23.03.2017г.

Блок 6 вычислений выполнен с возможностью вычисления расстояния до целевого объекта и/или целевой сцены и выбора между линзой ближней и дальней съемки камеры 4, при этом полученное расстояние и соответствующий ей тип линзы (широкоугольная или сверхширокоугольная линза) передаются в системную память 9 и через блок 5 интерфейса ввода-вывода в камеру 4 для осуществления автоматического переключения режимов работы камеры 4.

Камера 4 выполнена с возможностью передачи графической информации через блок 5 интерфейса ввода-вывода и графический процессор 2 на дисплей 3 устройства.

Дисплей 3 устройства выполнен с возможностью визуализации целевого объекта и/или целевой сцены в режиме реального времени.

Блок 1 ввода-вывода дополнительно содержит сенсоры 11 движения (акселерометр и/или гироскоп и/или магнитометр) и сенсоры глубины (RaDAR и/или LiDAR и/или ToF-сенсор и/или UWB-сенсор).

Графический процессор 2 выполнен с возможностью обработки графической информации, полученной с камеры 4 устройства.

Накопитель 10 выполнен с возможностью хранения фото- и видеоизображений, полученных камерой 4 устройства и может представлять собой твердотельный накопитель (SSD).

Устройство автоматического переключения режимов работы камеры согласно изобретению, выполнено с возможностью встраивания в одно из: смартфон, планшетный компьютер, фото- и видеокамера.

Промышленная применимость

Устройство и способ автоматического переключения режимов работы камеры могут использоваться для фото- и видеосъемки камерами смартфонов, а также в планшетных компьютерах под управлением операционных сиcтем Android, iOS, HarmonyOS и подобных системах, а также в других подобных устройствах, в которых имеется потребность к обеспечению автоматического переключения режимов работы камеры.

Изобретение относится к способу автоматического переключения режимов работы камеры смартфона и других подобных устройств. Техническим результатом является сокращение времени переключения камеры между режимами, а также повышение точности определения режима съемки. Результат достигается тем, что предварительно захватывают изображение сцены, включающей целевой объект, подлежащий отслеживанию, в одном из: режима ближней, дальней съемки, по выбору, обеспечивают получение данных по меньшей мере одного из: сенсоров глубины, сенсоров движения, обеспечивают получение по меньшей мере одного из: стереоданных, данных изображения по меньшей мере в двух последовательных кадрах в одном из режима: ближней съемки, режима дальней съемки, при получении стереоданных: определяют диспарантность D_k сцены, включающей целевой объект, захваченной камерой, на основании полученных стереоданных в определенный момент времени для каждого текущего кадра, определяют расстояние d₁ от камеры до целевого объекта и меру уверенности R₁ полученной диспарантности D_k на основании полученных стереоданных, при получении данных изображения: вычисляют поле векторов движения на сцене, включающей целевой объект, захваченной камерой, вычисляют по меньшей мере один из: коэффициента сдвига, коэффициента поворота, коэффициента масштабирования сцены, на основании вычисленного поля векторов движения сцены, по выбору, инициализируют средство отслеживания для целевого объекта для текущего кадра, определяют расстояние d₂ от камеры до целевого объекта на основании коэффициента масштабирования и определяют меру уверенности R₂, определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины и определяют меру уверенности R₃, определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения и меру уверенности R₄, при инициализации средства отслеживания: определяют расстояние d₅ и меру уверенности R₅ и выполняют гибридную оценку расстояния от камеры до целевого объекта в текущем кадре на основании полученных значений расстояния d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅, и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадре, далее принимают решение о переключении камеры в режим ближней съемки или в режим дальней съемки на основании скорректированного расстояния d_h. 2 н. и 41 з.п. ф-лы, 21 ил.

1. Способ автоматического переключения режимов работы камеры, содержащий следующие этапы, при которых:

- предварительно захватывают изображение сцены, включающей целевой объект, подлежащий отслеживанию, в одном из режимов: режима ближней, режима дальней съемки,

- по выбору, обеспечивают получение данных по меньшей мере одного из: сенсоров глубины, сенсоров движения,

- обеспечивают получение по меньшей мере одного из: стереоданных, данных изображения по меньшей мере в двух последовательных кадрах в одном из режимов: режима ближней съемки, режима дальней съемки,

при получении стереоданных:

- определяют диспарантность D_k сцены, включающей целевой объект, захваченной камерой, на основании полученных стереоданных в определенный момент времени для каждого текущего кадра,

- определяют меру уверенности R₁ полученной диспарантности D_k на основании полученных стереоданных,

- определяют расстояние d₁ от камеры до целевого объекта на основании определенной диспарантности D_k для текущего кадра,

при получении данных изображения:

- сравнивают данные изображения по меньшей мере двух последовательных кадров и на основании сравнения указанных данных изображения, вычисляют поле векторов движения на сцене, включающей целевой объект, захваченной камерой,

- вычисляют по меньшей мере один из: коэффициента сдвига, коэффициента поворота, коэффициента масштабирования сцены на основании вычисленного поля векторов движения сцены,

- по выбору, инициализируют средство отслеживания для целевого объекта для текущего кадра, осуществляют отслеживание целевого объекта на последующих кадрах и вычисляют коэффициент масштабирования ограничивающего прямоугольника камеры с находящимся в нем целевым объектом в процессе отслеживания для каждого кадра,

- определяют выход целевого объекта из кадра и в случае, если выход целевого объекта из кадра не выявлен:

- определяют расстояние d₂ от камеры до целевого объекта на основании коэффициента масштабирования, полученного на основании вычисленного поля векторов движения,

- определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта,

- при получении данных с сенсоров глубины определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины и определяют меру уверенности R₃ расстояния d₃ на основании данных глубины c помощью сенсоров глубины,

- при получении данных с сенсоров движения определяют расстояние d₄ от камеры до целевого объекта на основании данных сенсоров движения и определяют меру уверенности R₄ расстояния d₄ на основании данных сенсоров движения,

- при инициализации средства отслеживания определяют расстояние d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом,

- при инициализации средства отслеживания определяют меру уверенности R₅ расстояния d₅ от камеры до целевого объекта на основании вычисленного коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом и

- выполняют гибридную оценку расстояния от камеры до целевого объекта в текущем кадре на основании полученных значений расстояния d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅ и определяется скорректированное расстояние d_h от камеры до целевого объекта в текущем кадре,

- принимают решение о переключении камеры в режим ближней съемки или в режим дальней съемки на основании скорректированного расстояния d_h.

2. Способ по п.1, в котором при нахождении камеры в режиме дальней съемки, если полученное скорректированное расстояние d_h меньше предварительно определенного порогового значения, принимают решение о переключении камеры в режим ближней съемки.

3. Способ по п.1, в котором при нахождении камеры в режиме в ближней съемки, если полученное скорректированное расстояние d_h больше предварительно определенного порогового значения, принимают решение о переключении камеры в режим дальней съемки.

4. Способ по п.1, в котором данные изображения представляют собой одно из RGB, YUV и CMYK данных.

5. Способ по п. 1, в котором стереоданные получают посредством PDAF сенсоров матрицы камеры с технологией Dual Pixel.

6. Способ по п.1, в котором значение диспарантности D_k для выбранного целевого объекта в текущем кадре определяется посредством PDAF данных, полученных матрицей сенсоров камеры, как локальный минимум SAD кривой.

7. Способ по п.6, в котором для определения диспарантности D_k для выбранного целевого объекта в текущем кадре на основе полученных PDAF данных, представляющих собой правое и левое изображение целевого объекта, полученных матрицей сенсоров камеры, рассчитывается сумма абсолютных различий, как абсолютная разность между пикселями левого и правого изображений, на основе которых строятся SAD кривые.

8. Способ по п. 1, в котором скорректированное расстояние d_h определяется на основании полученных значений расстояний d₁, d₂, d₃, d₄, d₅ от камеры до целевого объекта и мер уверенности R₁, R₂, R₃, R₄, R₅ для текущего кадра из выражения согласно выражению

d_h=d₁ * R₁+d₂ * R₂+d₃ * R₃+d₄ * R₄+d₅ * R₅.

9. Способ по одному из пп. 1, 5-8, в котором мера уверенности R₁ для текущего кадра рассчитывается на основании данных SAD кривых.

10. Способ по п.9, в котором мера уверенности R₁ для текущего кадра определяется из выражения

R₁,

где - уровень сигнала, - уровень шума, - глобальный минимум и - подминимум SAD кривой.

11. Способ по одному из пп. 1, 5-8, в котором мера уверенности R₂ для текущего кадра рассчитывается на основе данных поля векторов и последующего аффинного преобразования поля векторов.

12. Способ по одному из пп. 1, 5-8, в котором мера уверенности R₃ для текущего кадра характеризует аппроксимацию соотношения сигнал/шум, полученного на основании данных сенсора глубины.

13. Способ по п.12, в котором мера уверенности R₃ для текущего кадра определяется из выражения

R₃=100x ,

где R₃ - мера уверенности, Y_S - уровень сигнала, Y_N - уровень шума.

14. Способ по одному из пп. 1, 5-8, в котором мера уверенности R₄ для текущего кадра характеризует аппроксимацию соотношения сигнал/шум, полученного на основании данных по меньшей мере одного сенсора движения.

15. Способ по п.14, в котором мера уверенности R₄ для текущего кадра определяется из выражения

R₄=100x ,

где R - мера уверенности, Y_S - уровень сигнала, Y_N - уровень шума.

16. Способ по одному из пп. 1, 5-8, в котором мера уверенности R₅ рассчитывается на основе результатов работы средства отслеживания.

17. Способ по п.1, в котором расстояние d₁ от камеры до целевого объекта определяют на основании определенной диспарантности D_k для текущего кадра.

18. Способ по п.1, в котором расстояние d₂ от камеры до целевого объекта определяют на основании определенного коэффициента масштабирования для текущего кадра.

19. Способ по п.1, в котором расстояние d₃ от камеры до целевого объекта определяют на основании данных глубины c помощью сенсоров глубины.

20. Способ по п.1, в котором расстояние d₄ от камеры до целевого объекта определяют на основании данных движения c помощью сенсоров движения.

21. Способ по п.1, в котором расстояние d₅ от камеры до целевого объекта определяется на основании коэффициента масштабирования ограничивающего прямоугольника с находящимся в нем целевым объектом.

22. Способ по п.21, в котором вычисляют коэффициент масштабирования ограничивающего прямоугольника на экране камеры с находящейся в нем целевым объектом для текущего кадра k как соотношение размеров ограничивающего прямоугольника текущего кадра и предыдущего кадра.

23. Способ по п.1, в котором дополнительно, по выбору, определяют предварительно определенные случаи работы камеры при захвате целевого объекта в текущем кадре, при этом к указанным случаям относятся по меньшей мере одно из: целевой объект представляет собой прозрачный объект, целевой объект представляет собой отражающий объект, съемка целевого объекта, находящегося за стеклом, низкая освещенность или эффект белой стены, когда камера смотрит на однородный фон, локальные перемещения объекта при неподвижном заднем фоне, поворот или дрожание камеры.

24. Способ по одному из пп.1-23, в котором при работе камеры в режиме дальней съемки или в режиме ближней съемки вычисление по меньшей мере одного из: коэффициента сдвига, коэффициента поворота, коэффициента масштабирования сцены выполняется на основе аффинного преобразования вычисленного поля векторов движения сцены.

25. Способ по одному из пп.1-23, в котором при работе камеры в режиме дальней съемки определяют меру уверенности R₂ расстояния d₂ от камеры до целевого объекта на основании на основании вычисленного поля векторов движения сцены и аффинного преобразования этого поля векторов.

26. Способ по одному из пп.1-25, в котором при работе камеры в режиме ближней съемки, при инициализации средства отслеживания, если ограничивающий прямоугольник, включающий целевой объект, выходит за границы текущего кадра, устанавливается потеря целевого объекта в текущем кадре.

27. Способ по п.26, в котором при установлении потери целевого объекта в текущем кадре принимается решение о переключении камеры в режим дальней съемки.

28. Способ по п.27, в котором дополнительно определяется расстояние d₁ от камеры до целевого объекта на основании определенной диспарантности D_k для текущего кадра после установления потери целевого объекта в текущем кадре.

29. Способ по п.26 или 27, в котором дополнительно определяют расстояние d₃ от камеры до целевого объекта на основании данных глубины c помощью сенсоров глубины для текущего кадра после установления потери целевого объекта в текущем кадре.

30. Способ по одному из пп.1-29, в котором при работе камеры в режиме ближней съемки дополнительно определяют расстояние d_h после установления потери целевого объекта в текущем кадре с учетом дополнительно определенных расстояний d₁ и/или d₃.

31. Способ по п.30, в котором, если полученное расстояние d_h после установления потери целевого объекта в кадре меньше предварительно определенного порогового значения, принимается решение о сохранении режима ближней съемки и выполняют переход на следующий кадр.

32. Способ по одному из пп.1 и 30, в котором, если полученное расстояние d_h после установления потери целевого объекта в кадре больше или равно предварительно определенному пороговому значению, принимается решение о переключении камеры в режим дальней съемки.

33. Способ по п.1, в котором вычисляют по меньшей мере один из: коэффициента сдвига, коэффициента поворота, коэффициента масштабирования сцены посредством применения модели аффинного преобразования к вычисленному полю векторов.

34. Устройство автоматического переключения режимов работы камеры, содержащее:

- блок ввода-вывода, включающий графический процессор, дисплей, камеру, блок интерфейса ввода-вывода,

- блок вычислений, содержащий центральный процессор, контроллер памяти, системную память и накопитель,

при этом камера представляет собой мультикамерную систему, включающую фото- и/или видеокамеру и содержащую блок формирования изображения, содержащий линзу ближней съемки и линзу дальней съемки, и матрицу сенсоров, при этом камера выполнена с возможностью захвата целевого объекта и передачи данных изображения целевого объекта в системную память блока вычислений через блок интерфейса ввода-вывода,

блок вычислений выполнен с возможностью реализации этапов способа по одному из пп. 1-33, вычисления расстояния до целевого объекта и принятия решения о переключении камеры в режим ближней съемки или в режим дальней съемки, при этом полученное расстояние до целевого объекта и решение о переключения камеры передается в системную память и через блок интерфейс ввода-вывода в камеру для осуществления переключения режима камеры,

камера выполнена с возможностью передачи графической информации через блок интерфейса ввода-вывода и графический процессор на дисплей устройства,

дисплей выполнен с возможностью визуализации целевого объекта в режиме реального времени.

35. Устройство по п.34, в котором графический процессор выполнен с возможностью обработки графической информации, полученной с камеры устройства.

36. Устройство по п.34, в котором матрица сенсоров представляет собой матрицу PDAF сенсоров.

37. Устройство по п.34, в котором накопитель выполнен с возможностью хранения фото- и видеоизображений, полученных камерой устройства.

38. Устройство по п.37, в котором накопитель представляет собой твердотельный накопитель (SSD).

39. Устройство по п.34, в котором блок ввода-вывода дополнительно содержит по меньшей мере один сенсор движения и сенсор глубины.

40. Устройство по п.39, в котором по меньшей мере один сенсор движения представляет собой по меньшей мере один из: акселерометра, гироскопа, магнитометра.

41. Устройство по п.34, в котором по меньшей мере один сенсор глубины представляет собой по меньшей мере один из: RaDAR, LiDAR, ToF-сенсора, UWB-сенсора.

42. Устройство по п.34, в котором контроллер памяти выполнен с возможностью передачи данных из системной памяти на центральный процессор для вычислений.

43. Устройство по одному из пп.34-42, выполненное с возможностью встраивания в одно из: смартфона, планшетного компьютера, фото- и видеокамеры.