ОКОНЕЧНОЕ УСТРОЙСТВО И СПОСОБ СТАБИЛИЗАЦИИ ВИДЕОИЗОБРАЖЕНИЯ Российский патент 2021 года по МПК H04N5/232 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области обработки изображений и, в частности, к оконечному устройству и способу стабилизации видеоизображения.

Уровень техники

Когда пользователь фотографирует во время движения или неустойчиво держит телефон во время фотографирования, захваченное фото или видео может быть размытым из-за сотрясения. С целью решения технической задачи компенсации сотрясения изображения была разработана технология оптической стабилизации изображения (optical image stabilization, OIS) и технология электронной стабилизации изображения (electronics image stabilization, EIS). В технологии OIS во время фотографирования датчик движения обнаруживает данные сотрясения фотографирующего устройства, и контроллер OIS управляет и контролирует, на основании данных сотрясения, приводом OIS для перемещения объектива или датчика изображения. Однако, поскольку фотографическое устройство в руках у пользователя может постоянно трястись или двигаться, даже если используется технология OIS, все еще присутствует очевидное сотрясение и смещение между несколькими последовательными кадрами изображений.

Технология EIS включает в себя два способа. Одним из способов является обработка стабилизации на основании контента изображения, ситуация движения изображения идентифицируется на основании контента предшествующего кадра изображения и следующего кадра изображения, соответствующая обработка, такая как подрезка, растяжение и деформация выполняется после выполнения регистрации и выравнивания изображения, и недостатком этого способа является большой объем вычислений, низкая скорость и высокое энергопотребление. Другой способ подразумевает выполнение обработки стабилизации на основании данных датчика движения, данные датчика движения во время экспонирования каждого кадра изображения используются для расчета ситуации движения между кадрами, выполняется соответствующая обработка, такая как подрезка, растяжение и деформация после выполнения регистрации и выравнивания на изображении, и этот способ отличается высокой скоростью и низким энергопотреблением.

Ссылаясь на фиг. 1, в настоящее время вторая технология EIS может компенсировать только пятиосевое сотрясение, включающее в себя три типа вращательных движений: тангаж (pitch), рыскание (yaw) и крен (roll), и поступательное сотрясение по X-оси и Y-оси. Компенсация поступательного сотрясения по Z-оси не реализуется. Z-ось является оптической осью объектива камеры, X-ось является осью, перпендикулярной Z-оси в горизонтальной плоскости, Y-ось является осью, перпендикулярной Z-оси в вертикальной плоскости, крен является поворотом вокруг Z-оси, тангаж является поворотом вокруг X-оси и рыскание является поворотом вокруг Y-оси.

Сущность изобретения

Варианты осуществления настоящего изобретения предоставляют способ стабилизации видеоизображения и оконечное устройство для реализации компенсации поступательного сотрясения в Z-направления.

Для решения вышеуказанной задачи в вариантах осуществления настоящего изобретения используются следующие технические решения.

Согласно первому аспекту предоставляется способ стабилизации видеоизображения, в котором способ включает в себя: включение с помощью оконечного устройства объектива камеры и фотографирование видеоизображения с использованием объектива камеры; обнаружение с помощью оконечного устройства сотрясения по X-оси, Y-оси и Z-оси во время фотографирования, где Z-ось является оптической осью объектива камеры, X-ось является осью, перпендикулярной Z-оси в горизонтальной плоскости, и Y-ось является осью, перпендикулярной Z-оси в вертикальной плоскости; и выполнение оконечным устройством обработки стабилизации видеоизображения для стабилизации по X-оси, Y-оси и Z-оси. Согласно способу стабилизации видеоизображения, представленному в настоящем изобретении, реализована не только компенсация поступательного сотрясения оконечного устройства по Z-оси, но также получен более точный эффект стабилизации X/Y поступательного движения, используя обнаружение расстояния до объекта. Дополнительно, величина масштабирования изображения, вызванная настройкой фокуса, вычисляется путем определения местоположения объектива, так что изображение стабилизируется во время настройки фокуса посредством обратного масштабирования.

В возможной реализации, способ дополнительно включает в себя: обнаружение оконечным устройством расстояния до объекта, где расстояние до объекта является расстоянием до объекта или человека, находящегося в фокусе, и обнаружение оконечным устройством сотрясения по X-оси, Y-оси и Z-оси включают в себя: если расстояние до объекта больше и равно пороговому значению расстояния до объекта, обнаружение с помощью оконечного устройства сотрясения при вращении по X-оси, Y-оси и Z-оси; или, если расстояние до объекта меньше порогового значения расстояния до объекта, обнаружение с помощью оконечного устройства сотрясения при вращении по X-оси, Y-оси и Z-оси, и обнаружение с помощью оконечного устройства поступательного сотрясения по X-оси, Y-оси и Z-оси. В этой реализации, если расстояние до объекта больше и равно пороговому значению расстояния до объекта, оконечное устройство может обнаруживать только сотрясение при вращении (трехосная стабилизация видео) оконечного устройства по X-оси, Y-оси и по Z-оси, таким образом, можно уменьшить объем данных, можно повысить скорость обработки данных и снизить энергопотребление; и, если расстояние до объекта меньше порогового значения расстояния до объекта, оконечное устройство может обнаруживать сотрясение при вращении и поступательное сотрясение (шестиосевая стабилизация видео) оконечного устройства по X-оси, Y-оси и Z-оси, таким образом может быть получен относительно хороший эффект стабилизации.

В возможной реализации обнаружение оконечным устройством расстояния до объекта включает в себя: обнаружение оконечным устройством расстояния до объекта с использованием датчика глубины, причем датчик глубины включает в себя, по меньшей мере, один из следующих датчиков: лазерный датчик, датчик времени прохождения (time of flight, TOF) и датчик структурированного света. Эта реализация предоставляет датчик для определения расстояния до объекта.

В возможной реализации, обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси включает в себя: обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси с использованием датчика угла поворота, причем датчик угла поворота включает в себя гироскоп. Эта реализация предоставляет датчик для обнаружения сотрясения при вращении по X-оси, Y-оси и Z-оси.

В возможной реализации, обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси включает в себя: обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси с использованием датчика смещения, причем датчик смещения включает в себя акселерометр. Этот способ реализации обеспечивает датчик для обнаружения поступательного сотрясения по X-оси, Y-оси и Z-оси.

В возможной реализации способ дополнительно включает в себя: обнаружение оконечным устройством расстояния до изображения, при этом, выполнение оконечным устройством обработки стабилизации видеоизображения из-за сотрясения по X-оси, Y-оси и Z-оси, включают в себя: выполнение оконечным устройством обработки стабилизации видеоизображения на основе расстояния до объекта, расстояния до изображения и сотрясения по X-оси, Y-оси и Z-оси. В этой реализации шестиосевая стабилизация может дополнительно компенсироваться за счет использования расстояния до объекта и расстояния до изображения.

В возможной реализации обнаружение оконечным устройством расстояния до изображения включает в себя: обнаружение оконечным устройством расстояния до изображения с помощью датчика местоположения, причем датчик местоположения включает в себя, по меньшей мере, один из следующих датчиков: датчик Холла, анизотропный магниторезистивный датчик AMR, гигантский магниторезистивный датчик GMR и туннельный магниторезистивный датчик TMR. Эта реализация обеспечивает датчик для определения расстояния до изображения.

В возможной реализации выполнение оконечным устройством обработки стабилизации видеоизображения на основе расстояния до объекта, расстояния до изображения и сотрясения по X-оси, Y-оси и Z-оси включает в себя: для сотрясения изображения, вызванного вращением оконечного устройства вокруг Z-оси, выполнение оконечным устройством компенсации вращения на видеоизображении в противоположном направлении вращения и под тем же углом поворота; для сотрясения изображения, вызванного сотрясением вращения оконечного устройства вокруг X-оси или сотрясением вращения вокруг Y-оси, выполнение оконечным устройством на основе формулы компенсации на видеоизображении с тем же расстоянием перемещения в противоположном направлении перемещения видеоизображения и восстановление трапециевидного искажения видеоизображения до прямоугольника в направлении оси вращения на основе алгоритма трапециевидной коррекции, где является расстоянием смещения изображения, является расстоянием до изображения и является углом поворота вокруг X-оси или Y-оси; для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по X-оси или Y-оси, выполнение на основе формулы компенсации на видеоизображении с тем же расстоянием перемещения в противоположном направлении перемещения видеоизображения, и обрезку избыточной части видеоизображения, где является расстоянием смещения изображения, является расстоянием до изображения, является расстоянием до объекта, и является расстоянием перемещения оконечного устройства; и для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по Z-оси, масштабирование видеоизображения на основе коэффициента масштабирования, где является расстоянием до объекта и является расстоянием перемещения оконечного устройства в направлении от объекта по Z-оси. Эта реализация обеспечивает конкретный способ дополнительной компенсации шестиосевой стабилизации с использованием расстояния до объекта и расстояния до изображения.

В возможной реализации способ дополнительно включает в себя: для сотрясения изображения, вызванного регулировкой фокуса оконечного устройства, масштабирование оконечным устройством видеоизображения на основании коэффициента масштабирования, где является расстоянием до объекта, является расстоянием до изображения и является расстоянием, на которое линза приближается к объекту. В этой реализации может быть дополнено сотрясение изображения, вызванное регулировкой фокуса.

Согласно второму аспекту предоставляется оконечное устройство, включающее в себя: блок фотографирования, выполненный с возможностью включать объектив камеры и фотографировать видеоизображения с использованием объектива камеры; блок обнаружения, выполненный с возможностью обнаруживать сотрясения по X-оси, Y-оси и Z-оси во время фотографирования, где Z-ось является оптической осью объектива камеры, X-ось является осью, перпендикулярной к Z-оси в горизонтальной плоскости и Y-ось является осью, перпендикулярной Z-оси в вертикальной плоскости; блок стабилизации, выполненный с возможностью выполнять обработку стабилизации видеоизображения из-за сотрясения по X-оси, Y-оси и Z-оси. Основываясь на той же самой изобретательской концепции, для принципа решения технических задач и полезных эффектов оконечного устройства, обратитесь к первому аспекту, возможным реализациям способа первого аспекта и полученным полезным эффектам. Поэтому для реализации оконечного устройства обратитесь к первому аспекту и возможным реализациям способа первого аспекта. Подробности не повторяются.

Согласно третьему аспекту вариант осуществления настоящего изобретения предоставляет оконечное устройство, включающее в себя: процессор, память и интерфейс связи; где память выполнена с возможностью хранить исполняемую компьютером инструкцию, процессор соединен с памятью, и когда оконечное устройство работает, процессор выполняет исполняемую компьютером инструкцию, хранящуюся в памяти, так что оконечное устройство выполняет способ в соответствии с первым аспектом и возможным реализациям первого аспекта.

Согласно четвертому аспекту, вариант осуществления настоящего изобретения предоставляет машиночитаемый носитель данных, машиночитаемый носитель данных хранит инструкцию, и когда инструкция выполняется на любом из вышеупомянутых оконечных устройствах, оконечное устройство выполнено с возможностью выполнять способ согласно первому аспекту, возможным реализациям первого способа.

Согласно пятому аспекту вариант осуществления настоящего изобретения предоставляет компьютерный программный продукт, включающий в себя инструкцию, и когда компьютерный программный продукт запускается на любом из вышеупомянутых оконечных устройствах, оконечное устройство выполнено с возможностью выполнять способ по первому аспекту и возможным реализациям первого аспекта.

В вариантах осуществления настоящего изобретения названия компонентов в вышеупомянутом оконечном устройстве не представляют собой ограничения для устройств. Во время реальной реализации компоненты могут иметь другие названия. При условии, что функции компонентов аналогичны функциям в вариантах осуществления настоящего изобретения, компоненты находятся в рамках объема формулы изобретения настоящего изобретения и ее эквивалентных технологий.

Дополнительно, для технического эффекта, обеспечиваемого любым способом в третьем аспекте по пятый аспект, обратитесь к техническим эффектам, обеспечиваемым различными способами в вышеупомянутом первом аспекте. Подробности здесь снова не описываются.

Краткое описание чертежей

Фиг. 1 представляет собой схему различных сотрясений видеоизображения согласно варианту осуществления настоящего изобретения;

фиг. 2 представляет собой схематический вид спереди оконечного устройства в соответствии с вариантом осуществления настоящего изобретения;

фиг. 3 представляет собой схему 1 оконечного устройства согласно варианту осуществления настоящего изобретения;

фиг. 4 представляет собой схему пятиосной стабилизации видеоизображения согласно варианту осуществления настоящего изобретения;

фиг. 5 представляет собой схему работы каждого датчика при выполнении процесса согласно варианту осуществления настоящего изобретения;

фиг. 6 представляет собой блок-схему алгоритма способа стабилизации видеоизображения согласно варианту осуществления настоящего изобретения;

фиг. 7 представляет собой схему датчика угла поворота согласно варианту осуществления настоящего изобретения;

фиг. 8 представляет собой схему датчика смещения согласно варианту осуществления настоящего изобретения;

фиг. 9 представляет собой схему определения трехосной стабилизации или шестиосной стабилизации на основании расстояния до объекта согласно варианту осуществления настоящего изобретения;

фиг. 10 представляет собой схему сотрясения при вращении (рыскания) оконечного устройства вокруг X-оси или сотрясения при вращении (тангажа) вокруг Y-оси согласно варианту осуществления настоящего изобретения;

фиг. 11 представляет собой схему поступательного сотрясения оконечного устройства по X-оси или Y-оси согласно варианту осуществления настоящего изобретения;

фиг. 12 представляет собой схему поступательного сотрясения оконечного устройства по Z-оси согласно варианту осуществления настоящего изобретения;

фиг. 13 представляет собой схему сотрясения изображения, вызванного регулировкой фокуса оконечного устройства согласно варианту осуществления настоящего изобретения;

фиг. 14 представляет собой схему TOF согласно варианту осуществления настоящего изобретения;

фиг. 15 представляет собой схему местоположения установки магнита Холла и датчика Холла согласно варианту осуществления настоящего изобретения;

фиг. 16 представляет собой схему основного принципа шестиосевой стабилизации видеоизображения согласно варианту осуществления настоящего изобретения;

фиг. 17 представляет собой схему 2 оконечного устройства согласно варианту осуществления настоящего изобретения; и

фиг. 18 представляет собой схему 3 оконечного устройства согласно варианту осуществления настоящего изобретения.

Описание вариантов осуществления

Оконечное устройство в этом варианте осуществления настоящего изобретения может быть различными электронными устройствами, имеющими функцию фотографирования, например, может быть носимым электронным устройством (например, умными часами), планшетным компьютером, настольным компьютером, устройством виртуальной реальности, устройством дополненной реальности, фотоаппаратом или видеокамерой, или мобильным телефоном 200, показанным на фиг. 2 или фиг. 3. Конкретная форма оконечного устройства не ограничена в этом варианте осуществления настоящего изобретения.

В следующем варианте осуществления, как оконечное устройство реализует конкретное техническое решение в варианте осуществления, описывается в качестве примера с использованием телефона. Как показано на фиг. 2 или фиг. 3, оконечное устройство в вариантах осуществления настоящего изобретения может быть мобильным телефоном 200. Фиг. 2 представляет собой схематический вид спереди мобильного телефона 200. Мобильный телефон 200 может быть, например, безрамочным экраном, показанным в (a) на фиг. 2, или безрамочным экраном с выемкой (notch) (или называемый безрамочным экраном неправильной формы), показанный в (b) на фиг. 2. Фиг. 3 представляет собой структурную схему аппаратного обеспечения мобильного телефона 200. Следует понимать, что мобильный телефон 200, показанный на чертеже, является просто примером оконечного устройства, и мобильный телефон 200 может включать в себя больше компонентов или меньше компонентов, чем те, что показаны на чертеже, или могут объединять два или более компонентов, или могут включать в себя разные компоненты.

Как показано на фиг. 3, мобильный телефон 200 может включать в себя такие компоненты, как радиочастотная (radio frequency, RF) схема 210, память 220, блок 230 ввода, блок 240 отображения, датчик 250, аудио схема 260, модуль 270 «беспроводной достоверности» (wireless fidelity, Wi-Fi), процессор 280, модуль 281 Bluetooth и источник питания 290.

RF схема 210 может быть выполнена с возможностью принимать и отправлять сигнал в процессе приема и отправки информации или процессе вызова, может принимать информацию нисходящей линии связи из базовой станции, затем доставлять информацию нисходящей линии связи в процессор 280 для обработки и, дополнительно, может отправлять данные восходящей линии связи в базовую станцию. Обычно RF-схема включает в себя, но не ограничивается ими, такие устройства, как антенна, по меньшей мере, один усилитель, приемопередатчик, ответвитель, малошумящий усилитель и дуплексор.

Память 220 может быть выполнена с возможностью хранить программное обеспечение и данные. Процессор 280 запускает программу программного обеспечения и данные, которые хранятся в памяти 220, для выполнения различных функций и обработки данных мобильного телефона 200. Память 220 может включать в себя высокоскоростную память с произвольным доступом и может дополнительно включать в себя энергонезависимую память, такую как, по меньшей мере, одно устройство хранения на магнитном диске, устройство флэш-памяти или другое энергозависимое твердотельное устройство хранения. Память 220 хранит операционную систему, которая может работать на мобильном телефоне 200, например операционная система iOS®, разработанная Apple Inc, операционная система с открытым исходным кодом Android®, разработанная Google Inc, или операционная система Windows®, разработанная Microsoft. Inc. Память 220 в настоящем изобретении может хранить операционную систему и различное прикладное программное обеспечение, а также может дополнительно хранить код для выполнения способа в вариантах осуществления настоящего изобретения.

Блок 230 ввода (например, сенсорный экран) может быть выполнен с возможностью принимать введенную цифровую и знаковую информацию и генерировать входной сигнал, относящийся к пользовательской настройке и управлению функциями мобильного телефона 200. В частности, блок 230 ввода может включать в себя сенсорную панель 231, как показано на фиг. 2, расположенный на передней поверхности мобильного телефона 200, и может принимать операцию касания, выполняемую пользователем на сенсорной панели 231 или рядом с ней. В настоящем изобретении блок 230 ввода может принимать операцию сенсорного управления пользователя.

Блок 240 отображения (а именно, экран дисплея) может быть выполнен с возможностью отображать информацию, введенную пользователем, или информацию, предоставленную пользователю, и графические пользовательские интерфейсы (graphical user interface, GUI) различных меню мобильного телефона 200 Блок 240 отображения может включать в себя панель 241 дисплея, расположенную на передней поверхности мобильного телефона 200. Панель 241 дисплея может быть выполнена в виде жидкокристаллического дисплея, органического светоизлучающего диода или т.п. Блок 240 отображения может быть выполнен с возможностью отображать различные графические пользовательские интерфейсы, описанные в настоящем изобретении. Сенсорная панель 231 может покрывать панель 241 дисплея, или сенсорная панель 231 и панель 241 дисплея могут быть объединены для реализации функций ввода и вывода мобильного телефона 200. Интегрированная панель может называться для краткости экраном сенсорного дисплея. В настоящем изобретении блок 240 отображения может отображать сфотографированное видео и т.п.

Мобильный телефон 200 может дополнительно включать в себя, по меньшей мере, один датчик 250, например датчик угла поворота, выполненный с возможностью обнаруживать вращательное движение устройства в направлении X, направлении Y и Z направлении, а также датчик угла поворота может быть гироскопом, другим датчиком движения или тому подобное; датчик смещения, выполненный с возможностью обнаруживать поступательное сотрясение устройства в направлении X, направлении Y и Z направлении, и датчик смещения может быть акселерометром, другим датчиком движения и т.п. датчик глубины, выполненный с возможностью обнаруживать расстояния до объекта в сценарии фотографирования, и датчик глубины может быть устройством обнаружения глубины, таким как лазерный датчик, датчик времени прохождения (time of flight, TOF) или структурированного света; датчик местоположения, выполненный с возможностью определять местоположение (или называемого расстоянием до изображения) объектива камеры, и датчик местоположения может быть устройством, которое может определять местоположение объектива камеры, например датчиком эффекта Холла, анизотропным магниторезистивным датчиком (anisotropic magneto resistance, AMR), гигантским магниторезистивным датчиком (giant magneto resistance, GMR) или туннельным магниторезистивным датчиком (tunneling magneto resistance, TMR); и датчик изображения, выполненный с возможностью выполнять фоторецепцию и генерацию изображения, и датчик изображения может быть оптическим датчиком изображения, таким как комплементарный металлооксидный полупроводник (complementary metal oxide semiconductor, CMOS) или устройством с зарядовой связью (charge coupled device, CCD). Мобильный телефон 200 может дополнительно быть сконфигурирован с другим датчиком, таким как барометр, гигрометр, термометр или инфракрасный датчик.

Аудио схема 260, динамик 261 и микрофон 262 могут обеспечивать звуковой интерфейс между пользователем и мобильным телефоном 200. Аудио схема 260 может преобразовывать принятые звуковые данные в электрический сигнал и передавать электрический сигнал в динамик 261. Динамик 261 преобразует электрический сигнал в звуковой сигнал для вывода звука. С другой стороны, микрофон 262 преобразует собранный звуковой сигнал в электрический сигнал. Аудио схема 260 принимает электрический сигнал, преобразует электрический сигнал в аудиоданные, и затем выводит аудиоданные в радиочастотную схему 210, чтобы отправить аудиоданные, например, на другой мобильный телефон или вывести аудиоданные на память 220 для дальнейшей обработки. В настоящем изобретении микрофон 262 может собирать звук, синхронизированный с видео.

Wi-Fi представляет собой технологию беспроводной передачи на короткие расстояния. Телефон 200 может помочь пользователю с помощью Wi-Fi модуля 270 получать и отправлять электронное письмо, просматривать веб-страницу, получать доступ к потоковому мультимедиа и т.п. Wi-Fi обеспечивает беспроводной широкополосный доступ в интернет для пользователя.

Процессор 280 является центром управления мобильного телефона 200 и подключается к различным частям всего мобильного телефона с помощью различных интерфейсов и линий. Процессор 280 выполняет различные функции и обработку данных мобильного телефона 200 путем запуска или выполнения программы программного обеспечения, хранящейся в памяти 220, и вызова данных, хранящихся в памяти 220. В некоторых вариантах осуществления процессор 280 может включать в себя одну или несколько блоков обработки. Процессор 280 может дополнительно объединять процессор приложений и процессор основной полосы частот. Процессор приложений в основном обрабатывает операционную систему, пользовательский интерфейс, прикладную программу и т.п. Процессор основной полосы частот в основном обрабатывает беспроводную связь. Можно понять, что вышеупомянутый процессор основной полосы частот может не быть интегрирован в процессор 280. В настоящем изобретении процессор 280 может включать в себя процессор сигналов изображения (image signal processor, ISP).

Модуль 281 Bluetooth выполнен с возможностью обмена информацией с другим устройством Bluetooth, имеющим модуль Bluetooth, с использованием протокола Bluetooth. Например, мобильный телефон 200 может установить с помощью модуля 281 Bluetooth соединение Bluetooth с носимым электронным устройством (например, умными часами), которое также имеет модуль Bluetooth, для обмена данными.

Мобильный телефон 200 дополнительно включает в себя источник питания 290 (например, аккумулятор), который подает питание на компоненты. Источник питания может быть логически подключен к процессору 280 с использованием системы управления питанием для реализации таких функций, как зарядка, разрядка и управление энергопотреблением с использованием системы управления питанием.

В процессе видеосъемки оконечного устройства сотрясение изображения между кадрами может происходить из-за того, что пользователь держит оконечное устройство или пользователь перемещается. Функция стабилизации оконечного устройства может использоваться для выполнения компенсации видеоизображения, которое движется в направлении, противоположном направлению, для максимального устранения сотрясения изображения между кадрами.

Ссылаясь на фиг. 4, в предшествующем уровне техники сотрясение видео может быть компенсировано максимум в пятиосевом направлении, и сотрясение при вращении, такое как тангаж (pitch), рыскание (yaw) и крен (roll), обнаруживается с помощью датчика угловой скорости, дополнительно, датчик ускорения обнаруживает поступательное сотрясение по X-оси и поступательное сотрясение по Y-оси и, наконец, получает результат компенсации (стабилизации) посредством синтеза. В настоящее время не существует хорошего способа обработки поступательного сотрясения по Z-оси, то есть, сотрясения в направлениях вперед-назад по оптической оси. Кроме того, в настоящее время информация о расстоянии до объекта не учитывается при компенсации поступательного сотрясения по X-оси и поступательного сотрясения по Y-оси, и эффект компенсации слабый. Дополнительно, когда оконечное устройство выполняет регулировку фокуса, из-за изменения положения объектива камеры изображение в видео также может увеличиваться и уменьшаться, и этот фактор также может отрицательно влиять на стабильность видеоизображения. Следует отметить, что регулировка фокуса, описанная в настоящем изобретении, относится к регулировке расстояния до изображения, то есть, регулировке расстояния между объективом камеры и оптическим датчиком изображения.

Ссылаясь на фиг. 5, оконечное устройство в настоящем изобретении выполняет обнаружение сотрясения при вращении с помощью датчика угла, обнаружение поступательного сотрясения с помощью датчика смещения, обнаружение расстояния до объекта с использованием датчика глубины, и обнаружение местоположения объектива камеры с использованием датчика местоположения. Процессор выполняет вычисление компенсации видео на основании результата вышеупомянутого обнаружения и получает величину компенсации вращения по X/Y/Z-оси и/или величину компенсации перемещения по X/Y/Z-оси. После того, как оконечное устройство получает исходный видеопоток во время обнаружения с помощью оптического датчика изображения и буферизует N кадров изображений исходного видеопотока, процессор сигналов изображения (image signal processor, ISP) или графический процессор (graphic processing unit, GPU) выполняет обработку видеоизображения со ссылкой на вышеупомянутую величину компенсации и исходный видеопоток, чтобы получить стабильный видеопоток после обработки стабилизации, и затем стабильный видеопоток может быть непосредственно предварительно просмотрен и отображен на экране дисплея, может использоваться для видеокодирования и т.п. В настоящем изобретении функцию стабилизации видеоизображения можно включить или отключить с помощью переключателя.

Нижеследующее конкретно описывает со ссылкой на прилагаемые чертежи способ стабилизации видеоизображения, предусмотренный в вариантах осуществления настоящего изобретения. Фиг. 6 представляет собой блок-схему алгоритма способа стабилизации видеоизображения согласно варианту осуществления настоящего изобретения. Способ, в частности, включает в себя следующие этапы.

S101: оконечное устройство включает объектив камеры и фотографирует видеоизображение, используя объектив камеры.

Оконечное устройство может открывать прикладную программу, которая может фотографировать видео с использованием объектива камеры, например, камеры или WeChat. Прикладная программа может быть выполнена с возможностью: управлять объективом камеры и фотографировать видео с использованием оптического датчика изображения, такого как CMOS или CCD в объективе камеры. Объектив камеры может быть передней или задней камерой.

В процессе, в котором оконечное устройство дрожит, видеоизображения, полученные оптическим датчиком изображения в предшествующем кадре и следующем кадре, сильно различаются, и это означает, что на экране дисплея появляется сотрясение изображения. Данные изображения, полученные оптическим датчиком изображения, могут быть матричными пиксельными данными, и разрешение окончательно обработанного видеопотока может быть меньше разрешения данных изображения, полученных датчиком изображения. Данная реализация может предоставлять избыточные данные для обработки изображений.

S102: оконечное устройство обнаруживает сотрясение по X-оси, Y-оси и Z-оси во время фотографирования.

Этап S102 и этап S101 могут выполняться одновременно, так что данные о сотрясении могут соответствовать сфотографированному видеоизображению, когда на оконечном устройстве возникает сотрясение.

Оконечное устройство может обнаруживать трехосное сотрясение оконечного устройства, то есть, сотрясение при вращении по X-оси, Y-оси и Z-оси, включающее в себя тангаж, рыскание и крен. В качестве альтернативы, оконечное устройство может обнаруживать шестиосевое сотрясение оконечного устройства, то есть, сотрясение при вращении и поступательное сотрясение по X-оси, Y-оси и Z-оси, включающие в себя тангаж, рыскание, крен, поступательное сотрясение по X-оси, поступательное сотрясение по Y-оси и поступательное сотрясение по Z-оси.

Z-ось является оптической осью объектива камеры, X-ось представляет собой ось, перпендикулярную Z-оси на горизонтальной плоскости, Y-ось является осью, перпендикулярной Z-оси на вертикальной плоскости, крен является вращением вокруг Z-оси, тангаж представляет собой вращение вокруг X-оси и рыскание является вращением вокруг Y-оси.

В частности, сотрясение при вращении оконечного устройства по X-оси, Y-оси и Z-оси может быть обнаружено с использованием датчика угла поворота. Фиг. 7 представляет собой схему датчика угла поворота. Датчик угла поворота может быть гироскопом или другим датчиком движения. Датчик угла поворота может быть установлен на корпусе оконечного устройства или может быть установлен в модуле объектива камеры. Если датчик угла поворота представляет собой гироскоп, выходной сигнал гироскопа представляет собой угловую скорость перемещения оконечного устройства. Угол, включающий в себя угол тангажа, угол рыскания и угол крена, при котором оконечное устройство вращается во время вращения, может быть получен путем однократного интегрирования выходного сигнала гироскопа.

В современных электронных продуктах для измерения угловой скорости обычно используется микромеханическая система (micro electro mechanical system, MEMS) гироскопа. Гироскоп MEMS использует силу Кориолиса, которая представляет собой тангенциальную силу, приложенную к вращающемуся объекту в радиальном движении, для вычисления угловой скорости. Гироскоп MEMS обычно имеет подвижные платы конденсаторов в двух направлениях. Платы конденсаторов измеряют изменения емкости, вызванные движением Кориолиса. Поскольку сила Кориолиса пропорциональна угловой скорости, угловая скорость может быть вычислена путем изменения емкости.

В частности, поступательное сотрясение оконечного устройства по X-оси, Y-оси и Z-оси может быть обнаружено с помощью датчика смещения. Фиг. 8 является схемой датчика перемещения. Датчик перемещения может быть акселерометром или другим датчиком движения. Датчик смещения может быть установлен на корпусе устройства или может быть установлен в модуле объектива камеры. Если датчик угла поворота является датчиком ускорения, выходной сигнал датчика ускорения представляет собой ускорение движения оконечного устройства. Линейная скорость движения оконечного устройства может быть получена путем однократного интегрирования выходного сигнала датчика ускорения, расстояние перемещения оконечного устройства может быть получено путем повторного интегрирования линейной скорости, и расстояние включает в себя расстояния перемещения оконечного устройства по X-оси, Y-оси и Z-оси.

В современных электронных изделиях акселерометр MEMS включает в себя пьезоэлектрический акселерометр MEMS, емкостной акселерометр MEMS и т.п. Пьезоэлектрический акселерометр MEMS использует пьезоэлектрический эффект для расчета ускорения. В пьезоэлектрическом акселерометре MEMS есть блок массы, поддерживаемый твердым телом. Когда происходит движение, блок массы создает давление, твердое тело создает напряжение и ускорение преобразуется в электрический сигнал для вывода. Емкостной МЭМС акселерометр также имеет внутри блок массы и блок массы является стандартным конденсатором с плоской пластиной. Изменение ускорения приводит в движение блок массы, тем самым, изменяя расстояние между двумя полюсами плоского конденсатора и площадь перекрытия. Ускорение рассчитывается путем измерения изменения емкости.

В реальном продукте вышеупомянутый гироскоп и акселерометр могут быть спроектированы как одна и та же электронная часть и компонент или могут быть спроектированы отдельно как две независимые электронные части и компоненты.

Обработка стабилизации выполняется на изображении на основании вышеуказанных данных датчика, и может быть получен только основной эффект стабилизации. Есть много других факторов, которые могут повлиять на качество изображения. Таким образом, настоящее изобретение дополнительно улучшает следующие аспекты.

В процессе повседневного использования может быть обнаружено, что, когда расстояние до объекта (расстояние от сфотографированного объекта) относительно велико, поступательное сотрясение оконечного устройства по X-оси, Y-оси и Z-оси оказывает относительно небольшое влияние на изображение. Когда расстояние до объекта относительно близко, поступательное сотрясение оконечного устройства по X-оси, Y-оси и Z-оси оказывает большое влияние на изображение. Расстояние до объекта, описанное в настоящем изобретении, является расстоянием до сфокусированного объекта или человека. Следовательно, как показано на фиг. 9, оконечное устройство может определять расстояние до объекта. Если расстояние до объекта больше или равно пороговому значению расстояния до объекта, оконечное устройство может только обнаруживать сотрясение при вращении (трехосная стабилизация видео) оконечного устройства только по X-оси, Y-оси и Z-оси таким образом, что объем данных может быть уменьшен, скорость обработки данных может быть повышена и потребление энергии может быть снижено; и, если расстояние до объекта меньше порогового значения расстояния до объекта, оконечное устройство может обнаруживать сотрясение при вращении и поступательное сотрясение (шестиосевая стабилизация видео) оконечного устройства по X-оси, Y-оси и Z-оси, таким образом может быть реализован относительно хороший эффект стабилизации.

Кроме того, как показано на фиг. 10, согласно принципу формирования изображения линзы, сотрясение изображения, вызванное сотрясением при вращением (рысканием) оконечного устройства вокруг X-оси, или вращением (тангажом) оконечного устройства вокруг Y-оси, соответствует формуле 1: , где является расстоянием смещения изображения, является расстоянием до изображения и является углом поворота вокруг X-оси или Y-оси. Можно узнать, что сотрясение изображения, генерируемое, когда оконечное устройство вращается вокруг X-оси или Y-оси, не имеет отношения к расстоянию до объекта и связано только с расстоянием до изображения и углом поворота оконечного устройства. Следовательно, соответствующая величина компенсации также связана только с расстоянием до изображения и углом поворота.

Ссылаясь на фиг. 11, согласно принципу формирования изображения линзы, сотрясение изображения, вызванное поступательным сотрясением оконечного устройства по X-оси или Y-оси, соответствует формуле 2: , где d является расстоянием смещения изображения, является расстоянием до изображения, является расстоянием до объекта и является расстоянием перемещения оконечного устройства по X-оси или Y-оси. Можно узнать, что сотрясение изображения, вызванное поступательным сотрясением оконечного устройства по X-оси или Y-оси, не только связано с расстоянием перемещения оконечного устройства, но также связано с расстоянием до изображения и расстоянием до объекта. Следовательно, соответствующая сумма компенсации также связана с расстоянием перемещения оконечного устройства, расстоянием до изображения и расстоянием до объекта.

Ссылаясь на фиг. 12, для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по Z-оси, при условии, что высота объекта равна A, до того, как оконечное устройство будет перемещено по Z-оси, высота изображения равна , расстояние до объекта равно , расстояние до изображения равно . Согласно принципу линзового изображения . Следовательно, , оконечное устройство переводит расстояние в направлении от объекта по Z-оси, так что расстояние до объекта изменяет , и расстояние до изображения остается неизменным. В этом случае высота переведенного изображения составляет . Следовательно, коэффициент масштабирования изображения после того, как оконечное устройство перемещается по Z-оси, соответствует формуле 3: и может быть положительным или отрицательным числом. Можно узнать, что, когда расстояние до объекта увеличивается, изображение становится маленьким, и когда расстояние до объекта уменьшается, изображение становится большим. Дополнительно, сотрясение изображения, вызванное поступательным сотрясением оконечного устройства по Z-оси, не только связано с расстоянием перемещения оконечного устройства, но также связано с расстоянием до объекта, поэтому соответствующая величина компенсации также связана с расстоянием перемещения оконечного устройства и расстоянием до объекта.

Ссылаясь на фиг. 13, для сотрясения изображения, вызванного настройкой фокуса оконечного устройства, предполагая, что расстояние (то есть расстояние изменения расстояния до изображения), на котором линза оконечного устройства перемещается к объекту, составляет , расстояние до изображения изменяется на , и расстояние до объекта изменится на , так что высота нового изображения равна . Следовательно, коэффициент масштабирования изображения после регулировки фокуса оконечного устройства соответствует формуле 4: , где может быть положительным числом или отрицательным числом. Можно узнать, что сотрясение изображения, вызванное регулировкой фокуса оконечного устройства, связано с расстоянием перемещения линз, а также связано с расстоянием до объекта и расстоянием до изображения. Следовательно, соответствующая величина компенсации также связана с расстоянием перемещения линз, расстоянием до объекта и расстоянием до изображения.

Конкретно, поскольку расстояние до изображения является расстоянием между линзами и оптическим датчиком изображения, то оконечному устройству необходимо не только обнаруживать сотрясение при вращении и поступательное сотрясение по X-оси, Y-оси и Z-оси, но также необходимо обнаруживать изменение расстояния до объекта и положения линз.

В частности, оконечное устройство может определять расстояние до объекта с помощью датчика глубины. Датчик глубины может включать в себя, по меньшей мере, один из следующих датчиков: лазерный датчик, датчик времени прохождения (time of flight, TOF) и структурированный датчик света. Датчик глубины может быть установлен на корпусе устройства или может быть установлен в модуле объектива камеры. TOF непрерывно излучает световой импульс на сфотографированный объект, затем принимает с помощью датчика отраженный световой импульс, возвращенный от объекта, и получает расстояние до объекта, определяя время прохождения (туда и обратно) излучения и приема светового импульса. Обращаясь к фиг. 14, расстояние до объекта может быть вычислено путем обнаружения разности фаз между излучаемым светом и отраженным светом, скорости света и частоты излучения светового импульса .

В частности, оконечное устройство может определять местоположение (расстояние до изображения) линзы с помощью датчика местоположения, чтобы обнаруживать движение регулировки фокуса линзы, то есть, состояние изменения расстояния до изображения. Датчик местоположения может включать в себя, по меньшей мере, один из следующих датчиков: устройства, которые могут определять местоположение линзы, такие как датчик Холла, анизотропный магниторезистивный датчик (anisotropic magneto resistance, AMR), гигантский магниторезистивный датчик (giant magneto resistance, GMR) и туннельный магниторезистивный датчик (tunneling magneto resistance, TMR).

Датчик Холла является датчиком местоположения, используемый эффект Холла. Когда электрон в полупроводниковом материале Холла движется во внешнем магнитном поле, дорожка движения смещается из-за силы Лоренца, и генерируется накопление электрического заряда на двух сторонах полупроводникового материала Холла, образуя электрическое поле, перпендикулярное току. Наконец, сила Лоренца, воспринимаемая носителем, уравновешивается с отталкиванием электрического поля, так что с двух сторон полупроводникового материала Холла устанавливается стабильная разность электрических потенциалов, то есть, напряжение Холла. Напряженность магнитного поля может быть вычислена путем измерения напряжения Холла, и местоположение магнита Холла может быть вычислено с помощью напряженности магнитного поля. В реальном продукте, как показано на фиг. 15, магнит Холла обычно устанавливается на оправе линзы и перемещается вместе с движением линзы. Датчик Холла обычно устанавливается в фиксированном месте, например, на подложке. Когда на линзе выполняется регулировка фокуса, изменяется расстояние до изображения, изменение положения линзы приводит в движение магнит Холла и дополнительно изменяет напряженность магнитного поля, воспринимаемую датчиком Холла, тем самым вызывая изменение напряжения Холла. Величину смещения линзы можно рассчитать путем измерения изменения напряжения Холла.

S103: оконечное устройство выполняет обработку (компенсацию) стабилизации видеоизображения при сотрясении оконечного устройства по X-оси, Y-оси и Z-оси.

Как описано выше, обработка для стабилизации выполняется на изображении на основе данных датчика, обнаруженных датчиком смещения или датчиком угла поворота, который может реализовывать только базовый эффект стабилизации. Настоящее изобретение дополнительно улучшает процесс стабилизации. В частности, оконечное устройство может выполнять обработку для стабилизации видеоизображения на основе расстояния до объекта, расстояния до изображения и сотрясения оконечного устройства по X-оси, Y-оси и Z-оси.

Фиг. 16 показывает основной принцип шестиосевой стабилизации для видеоизображения в соответствии с настоящим изобретением.

Для сотрясения изображения, вызванного вращением (креном) оконечного устройства вокруг Z-оси, оконечное устройство может выполнять компенсацию поворота видеоизображения в противоположном направлении и под тем же углом поворота. Например, крен, показанный на чертеже, используется в качестве примера, предполагая, что оконечное устройство вращается по часовой стрелке вокруг Z-оси на угол , и сфотографированное видеоизображение поворачивается на угол против часовой стрелки. В этом случае, оконечному устройству необходимо повернуть видеоизображение по часовой стрелке на угол , чтобы реализовать компенсацию.

Для сотрясения изображения, вызванного сотрясением вращения (рыскания) оконечного устройства вокруг X-оси или сотрясением вращения (тангажа) вокруг Y-оси, оконечное устройство может выполнять, на основе формулы 1, компенсацию видеоизображения с помощью одинакового расстояния перемещения в противоположном направлении перемещения видеоизображения и восстановление трапецеидального искажения дрожащего видеоизображения до прямоугольника в направлении оси вращения на основе алгоритма коррекции трапеции. Конкретный алгоритм коррекции трапеции может включать в себя преобразование пространства изображения, операцию интерполяции и т.п. Подробности снова не описываются. Например, тангаж, показанный на чертеже, используется в качестве примера, предполагая, что оконечное устройство поворачивается вниз вокруг X-оси на угол , так что видеоизображение перемещается вверх, и трапециевидное искажение представлено в горизонтальном направлении. В вертикальном направлении оконечное устройство может выполнять компенсацию видеоизображения вниз на расстояние со ссылкой на контент, показанный на фиг. 10, и формулу 1. В горизонтальном направлении оконечное устройство может восстановить трапециевидное искажение до прямоугольника, используя алгоритм коррекции трапеции.

Для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по X-оси или Y-оси, оконечное устройство может выполнять, на основе формулы 2, компенсацию видеоизображения с таким же расстоянием перемещения в противоположном направлении перемещения видеоизображения и обрезки лишней части видеоизображения. Например, используя поступательное сотрясение по Y-оси, показанное на чертеже в качестве примера, предполагая, что оконечное устройство перемещается вниз по Y-оси на расстояние , так что видеоизображение перемещается вверх по Y-оси с расстоянием , оконечное устройство может выполнять компенсацию видеоизображения вдоль Y-оси вниз на расстояние со ссылкой на контент, показанный на фиг. 11 и соответствующей формулой 2, и обрезать лишнюю часть верхней части видеоизображения.

Для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по Z-оси, оконечное устройство может масштабировать видеоизображение на основе коэффициента масштабирования (обратный формуле 3), где является расстоянием до объекта, является расстояние перемещения оконечного устройства в направлении от объекта по Z-оси, и может быть положительным или отрицательным числом. Если изображение объекта становится большим, когда оконечное устройство приближается к сфотографированному объекту, оконечное устройство может уменьшить изображение на основе формулы; и, если изображение объекта становится маленьким, когда оконечное устройство находится далеко от объекта, оконечное устройство может увеличивать изображение на основе формулы.

Для сотрясения изображения, вызванного настройкой фокуса оконечного устройства, оконечное устройство может масштабировать видеоизображение на основе коэффициента масштабирования (обратного формуле 4), где является расстоянием до объекта, является расстоянием до изображения и является расстоянием, на которое линза приближается к объекту.

Следует отметить, что вышеизложенное описывает только способ компенсации для каждого случая сотрясения отдельно. В фактическом процессе использования случай, когда несколько сотрясений могут существовать одновременно, и компенсация может выполняться только для наиболее очевидного способа сотрясения, или компенсация выполняется для каждого сотрясения, это не ограничивается в настоящем изобретении.

В настоящем изобретении видеоизображение, на котором выполняется обработка стабилизации, может быть непосредственно предварительно просмотрено и отображаться на экране дисплея или может использоваться для видеокодирования и т.п. Это конкретно не ограничено.

Согласно способу стабилизации видеоизображения, предоставленному в настоящем изобретении, реализована не только компенсация поступательного сотрясения оконечного устройства по Z-оси, но также более точный эффект стабилизации поступательного движения X/Y реализуется с помощью определения расстояния до объекта. Дополнительно, величина масштабирования изображения, вызванная настройкой фокуса, вычисляется путем определения местоположения линз, так что изображение стабилизируется во время настройки фокуса посредством обратного масштабирования.

Можно понять, что для реализации вышеуказанных функций оконечное устройство и т.п. включают в себя соответствующие аппаратные структуры и/или программные модули для выполнения этих функций. Специалисту в данной области техники должно быть легко известно, что в сочетании с примерами, описанными в вариантах осуществления, раскрытых в этом описании, блоки, алгоритмы и этапы могут быть реализованы аппаратными средствами или комбинацией аппаратных средств и компьютерного программного обеспечения. Выполнение функции аппаратным или аппаратным обеспечением, управляемым компьютерным программным обеспечением, зависит от конкретных приложений и проектных ограничений технических решений. Специалист в данной области техники может использовать разные способы для реализации описанных функций для каждого конкретного приложения, но следует учитывать, что реализация не выходит за рамки вариантов осуществления настоящего изобретения.

В вариантах осуществления настоящего изобретения вышеупомянутое оконечное устройство может быть разделено на функциональные модули на основе вышеупомянутых примеров способов. Например, каждый функциональный модуль может быть получен путем разделения на основе каждой соответствующей функции, или две или более функций могут быть интегрированы в один модуль обработки. Интегрированный модуль может быть реализован в виде аппаратных средств или может быть реализован в виде программного функционального модуля. Следует отметить, что в этом варианте осуществления настоящего изобретения разделение на модули является примерным и представляет собой просто разделение логических функций. В реальной реализации может использоваться другой способ разделения.

Когда функциональные модули разделены с использованием соответствующих функций, фиг. 17 является возможной структурной схемой оконечного устройства согласно вышеизложенному варианту осуществления. Оконечное устройство 200 включает в себя: блок 2011 фотографирования, блок 2012 обнаружения и блок 2013 стабилизации.

Блок 2011 фотографирования выполнен с возможностью поддержки оконечного устройства 200 для выполнения процесса S101 на фиг. 6. Блок 2012 обнаружения выполнен с возможностью поддержки оконечного устройства 200 для выполнения процесса S102 на фиг. 6. Блок 2013 стабилизации выполнен с возможностью поддержки оконечного устройства 200 для выполнения процесса S103 на фиг. 6. Все связанное содержание этапов в вышеупомянутых вариантах осуществления способа может быть процитировано в описаниях функций соответствующих функциональных модулей. Подробности здесь снова не описываются.

Когда используется интегрированный блок, вышеупомянутый блок 2011 фотографирования может быть интегрирован в модуль фотографирования, блок 2012 обнаружения может быть интегрирован в модуль обнаружения, и блок 2013 стабилизации может быть интегрирован в модуль обработки. Конечно, оконечное устройство может дополнительно включать в себя модуль хранения, модуль связи, модуль ввода/вывода и т.п.

В этом случае фиг. 18 является возможной структурной схемой оконечного устройства в вышеупомянутом варианте осуществления. Модуль 2021 обработки выполнен с возможностью контролировать и управлять работой оконечного устройства. Модуль 2022 связи выполнен с возможностью поддержки связи оконечного устройства с другим сетевым объектом, таким как облачный сервер или другое оконечное устройство. Модуль 2023 ввода/вывода выполнен с возможностью принимать информацию, вводимую пользователем, или информации вывода, предоставляемой пользователю, и различных меню оконечного устройства. Модуль 2024 хранения выполнен с возможностью хранить программный код и данные оконечного устройства. Модуль 2025 фотографирования выполнен с возможностью фотографировать видеоизображения. Модуль 2026 обнаружения выполнен с возможностью обнаруживать сотрясения оконечного устройства.

Например, модуль 2021 обработки может быть процессором или контроллером, например, может быть центральным процессором (central processing unit, CPU), графическим процессором, процессором общего назначения, процессором цифровых сигналов (digital signal processor, DSP), специализированной интегральной схемой (application-specific integrated circuit, ASIC), программируемой пользователем вентильной матрицей (field programmable gate array, FPGA) или другим программируемым логическим устройством, транзисторным логическим устройством, аппаратным компонентом или их комбинацией. Процессор может реализовывать или выполнять различные примерные логические блоки, модули и схемы, описанные со ссылкой на контент, раскрытый в настоящем изобретении. Процессор может быть комбинацией процессоров, реализующих вычислительную функцию, например, комбинацией одного или нескольких микропроцессоров или комбинацией DSP и микропроцессора.

Модуль 2022 связи может быть приемопередатчиком, схемой приемопередатчика, устройством ввода/вывода, интерфейсом связи или т.п. Например, модуль 2022 связи может, в частности, быть устройством Bluetooth, устройством Wi-Fi, периферийным интерфейсом и т.п.

Модуль 2024 может быть памятью, память может включать в себя высокоскоростную память с произвольным доступом (RAM) и может дополнительно включать в себя энергонезависимую память, такую как запоминающее устройство на магнитном диске, устройство флэш-памяти, другое энергозависимое твердотельное запоминающее устройство или подобное.

Модуль 2023 ввода/вывода может быть устройством ввода/вывода, таким как сенсорный экран, клавиатура, микрофон или дисплей. Дисплей может быть специально сконфигурирован в виде жидкокристаллического дисплея, органического светоизлучающего диода и т.п. Дополнительно, сенсорная панель может быть дополнительно интегрирована в дисплей и выполнена с возможностью: принимать события касания на сенсорной панели или рядом с ней и отправлять собранную информацию касания другому компоненту (например, процессору).

Модуль 2025 фотографирования может быть оптическим датчиком изображения.

Модуль 2026 обнаружения может включать в себя датчик угла поворота, датчик смещения, датчик глубины, датчик местоположения и т.п.

Когда модуль хранения является памятью, модуль ввода/вывода является дисплеем, модуль обработки является процессором, и модуль связи является интерфейсом связи, память выполнена с возможностью хранить выполняемую компьютером инструкцию, процессор связан с памятью, и когда оконечное устройство работает, процессор выполняет исполняемую компьютером инструкцию, хранящуюся в памяти, так что оконечное устройство выполняет способ согласно любому из сопроводительных чертежей на фиг. 6.

Варианты осуществления настоящего изобретения дополнительно предоставляют компьютерный носитель информации, хранящий одну или несколько программ, одна или несколько программ включают в себя инструкцию, и когда инструкция выполняется оконечным устройством, оконечное устройство выполнено с возможностью выполнять способ согласно любой из сопровождающих чертежей на фиг. 6.

Варианты осуществления настоящего изобретения дополнительно предоставляют компьютерный программный продукт, включающий в себя инструкцию, когда компьютерный программный продукт выполняется на оконечном устройстве, оконечное устройство выполнено с возможностью выполнять способ согласно любому из сопроводительных чертежей на фиг. 6.

Оконечное устройство, компьютерный носитель данных или компьютерный программный продукт, представленные в вариантах осуществления настоящего изобретения, выполнены с возможностью выполнять соответствующий способ, предоставленный выше. Поэтому для получения полезных эффектов, которые могут быть достигнуты с помощью оконечного устройства, компьютерного носителя данных или компьютерного программного продукта, обратитесь к полезным эффектам в соответствующем способе, представленном выше. Подробности здесь снова не описываются.

Следует понимать, что порядковые номера вышеупомянутых процессов не означают последовательности выполнения в различных вариантах осуществления настоящего изобретения. Последовательности выполнения процессов должны определяться в соответствии с функциями и внутренней логикой процессов и не должны рассматриваться как какое-либо ограничение на процессы реализации вариантов осуществления настоящего изобретения.

Специалист в данной области техники может знать, что в сочетании с примерами, описанными в вариантах осуществления, раскрытых в этом описании, блоки и этапы алгоритма могут быть реализованы электронным оборудованием или комбинацией компьютерного программного обеспечения и электронного оборудования. Выполняются ли функции аппаратным или программным обеспечением, зависит от конкретных приложений и условий проектных ограничений технических решений. Специалист в данной области может использовать разные способы для реализации описанных функций для каждого конкретного приложения, но не следует учитывать, что реализация выходит за рамки настоящего изобретения.

Специалисту в данной области техники может быть ясно, что для удобства и краткого описания подробный рабочий процесс вышеупомянутой системы, устройства и блока относится к соответствующему процессу в вышеупомянутом способе вариантов осуществления и подробности здесь снова не описываются.

В нескольких вариантах осуществления, представленных в настоящем изобретении, следует понимать, что раскрытые система, устройство и способ могут быть реализованы другими способами. Например, описанный вариант осуществления устройства является просто примерным. Например, разделение на блоки представляет собой просто разделение логических функций и может быть другим разделением в реальной реализации. Например, множество блоков или компонентов могут быть объединены или интегрированы в другую систему, или некоторые функции могут игнорироваться или не выполняться. Кроме того, отображаемые или обсуждаемые взаимные связи или прямые связи или коммуникационные соединения могут быть реализованы через некоторые интерфейсы. Непрямые связи или коммуникационные соединения между устройствами или блоками могут быть реализованы в электронной, механической или других формах.

Блоки, описанные как отдельные части, могут быть или не могут быть физически отдельными, и части, отображаемые как блоки, могут быть или не быть физическими блоками, могут быть расположены в одной позиции или могут быть распределены по множеству сетевых блоков. Некоторые или все блоки могут быть выбраны на основе фактических требований для достижения целей решений вариантов осуществления.

Дополнительно, функциональные блоки в вариантах осуществления настоящего изобретения могут быть интегрированы в один блок обработки, или каждый из блоков может существовать отдельно физически, или два или более блоков объединены в один блок.

Все или некоторые из вышеизложенных вариантов осуществления могут быть реализованы с использованием программного обеспечения, аппаратного обеспечения, встроенного программного обеспечения или любой их комбинации. Когда программное обеспечение используется для реализации вариантов осуществления, варианты осуществления могут быть реализованы полностью или частично в форме компьютерного программного продукта. Компьютерный программный продукт включает в себя одну или несколько компьютерных инструкций. Когда инструкции компьютерной программы загружаются и выполняются на компьютере, процедура или функции согласно вариантам осуществления настоящего изобретения генерируются полностью или частично. Компьютер может быть компьютером общего назначения, выделенным компьютером, компьютерной сетью или другими программируемыми устройствами. Компьютерные инструкции могут храниться на машиночитаемом носителе данных или могут передаваться с машиночитаемого носителя данных на другой машиночитаемый носитель данных. Например, компьютерные инструкции могут быть переданы с веб-сайта, компьютера, сервера или центра обработки данных на другой веб-сайт, компьютер, сервер или центр обработки данных по проводной связи (например, коаксиальному кабелю, оптическому волокну или цифровой абонентской линии (digital subscriber line, DSL)) или беспроводным способом (например, инфракрасным, радио или микроволновым). Машиночитаемый носитель данных может быть любым используемым носителем, доступным для компьютера, или устройством хранения данных, таким как сервер или центр обработки данных, интегрирующим один или несколько используемых носителей. Используемый носитель может быть магнитным носителем (например, гибким диском, жестким диском или магнитной лентой), оптическим носителем (например, DVD), полупроводниковым носителем (например, твердотельным накопителем (solid state disk, SSD)) или тому подобное.

Приведенные выше описания являются просто конкретными реализациями настоящего изобретения, но не предназначены для ограничения объема защиты настоящего изобретения. Любое изменение или замена, легко найденные специалистом в данной области техники в рамках технического объема, раскрытого в настоящем изобретении, должны подпадать под объем защиты настоящего изобретения. Следовательно, объем защиты настоящего изобретения должен соответствовать объему защиты формулы изобретения.

Изобретение относится к области захвата и обработки изображений. Техническим результатом является реализация компенсации поступательного сотрясения в Z-направлении. Результат достигается тем, что способ стабилизации видеоизображения включает в себя: включение с помощью оконечного устройства объектива камеры и фотографирование видеоизображения с использованием объектива камеры; обнаружение оконечным устройством расстояния до объекта, в котором расстояние до объекта представляет собой расстояние до объекта или человека в фокусе; и обнаружение оконечным устройством сотрясения по X-оси, Y-оси и Z-оси во время фотографирования, где Z-ось является оптической осью объектива камеры, X-ось является осью, перпендикулярной Z-оси в горизонтальной плоскости, и Y-ось является осью, перпендикулярной Z-оси в вертикальной плоскости; если расстояние до объекта меньше порогового значения расстояния до объекта, обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси и обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси и выполнение оконечным устройством обработки стабилизации видеоизображения из-за сотрясения по X-оси, Y-оси и Z-оси. 3 н. и 8 з.п. ф-лы, 18 ил.

1. Способ стабилизации видеоизображения, содержащий:

включение посредством оконечного устройства объектива камеры и фотографирование видеоизображения с использованием объектива камеры;

обнаружение оконечным устройством сотрясения по X-оси, Y-оси и Z-оси во время фотографирования, в котором Z-ось является оптической осью объектива камеры, X-ось является осью, перпендикулярной Z-оси в горизонтальной плоскости, и Y-ось является осью, перпендикулярной Z-оси в вертикальной плоскости; и

выполнение оконечным устройством обработки стабилизации видеоизображения из-за сотрясения по X-оси, Y-оси и Z-оси, в котором обработка стабилизации содержит обработку видеоизображения, в котором

способ дополнительно содержит: обнаружение оконечным устройством расстояния до объекта, в котором расстояние до объекта представляет собой расстояние до объекта или человека в фокусе; и

обнаружение оконечным устройством сотрясения по X-оси, Y-оси и Z-оси содержит:

если расстояние до объекта меньше порогового значения расстояния до объекта, обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси и обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси.

2. Способ по п. 1, в котором

способ дополнительно содержит: обнаружение оконечным устройством расстояния до объекта, в котором расстояние до объекта представляет собой расстояние до объекта или человека в фокусе; и

обнаружение оконечным устройством сотрясения по X-оси, Y-оси и Z-оси содержит:

если расстояние до объекта больше и равно пороговому значению расстояния до объекта, обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси.

3. Способ по п. 2, в котором обнаружение оконечным устройством расстояния до объекта содержит:

обнаружение оконечным устройством расстояния до объекта с использованием датчика глубины, в котором датчик глубины содержит, по меньшей мере, один из следующих датчиков: лазерный датчик, датчик времени прохождения TOF и датчик структурированного света.

4. Способ по п. 2, в котором обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси содержит:

обнаружение оконечным устройством сотрясения при вращении по X-оси, Y-оси и Z-оси с использованием датчика угла поворота, в котором датчик угла поворота содержит гироскоп.

5. Способ по п. 2, в котором обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси содержит:

обнаружение оконечным устройством поступательного сотрясения по X-оси, Y-оси и Z-оси с использованием датчика смещения, в котором датчик смещения содержит акселерометр.

6. Способ по любому из пп. 2-5, в котором

способ дополнительно содержит: обнаружение оконечным устройством расстояния до изображения; и

выполнение оконечным устройством обработки стабилизации видеоизображения из-за сотрясения по X-оси, Y-оси и Z-оси содержит:

выполнение оконечным устройством обработки стабилизации видеоизображения на основании расстояния до объекта, расстояния до изображения и сотрясения по X-оси, Y-оси и Z-оси.

7. Способ по п. 6, в котором обнаружение оконечным устройством расстояния до изображения содержит:

обнаружение оконечным устройством расстояния до изображения с использованием датчика местоположения, в котором датчик местоположения содержит, по меньшей мере, один из следующих датчиков: датчик Холла, анизотропный магниторезистивный датчик AMR, гигантский магниторезистивный датчик GMR и туннельный магниторезистивный датчик TMR.

8. Способ по п. 6 или 7, в котором выполнение оконечным устройством обработки стабилизации видеоизображения на основании расстояния до объекта, расстояния до изображения и сотрясения по X-оси, Y-оси и Z-оси содержит:

для сотрясения изображения, вызванного вращением оконечного устройства вокруг Z-оси, выполнение оконечным устройством компенсации вращения на видеоизображении в противоположном направлении вращения и под тем же углом поворота;

для сотрясения изображения, вызванного сотрясением вращения оконечного устройства вокруг X-оси или сотрясением вращения вокруг Y-оси, выполнение оконечным устройством на основании формулы компенсации на видеоизображении с тем же расстоянием перемещения в противоположном направлении перемещения видеоизображения, и восстановление трапецеидального искажения видеоизображения до прямоугольника в направлении оси вращения на основании алгоритма трапецеидальной коррекции, в котором является расстоянием смещения изображения, является расстоянием до изображения и представляет собой угол поворота вокруг X-оси-или Y-оси; и

для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по X-оси или Y-оси, выполнение оконечным устройством на основании формулы компенсации на видеоизображении с таким же расстоянием перемещения в противоположном направлении перемещения видеоизображение и обрезки избыточной части видеоизображения, в котором является расстоянием смещения изображения, является расстоянием до изображения, является расстоянием до объекта и является расстоянием перемещения оконечного устройства; и

для сотрясения изображения, вызванного поступательным сотрясением оконечного устройства по Z-оси, масштабирование с помощью оконечного устройства, видеоизображение на основе коэффициента масштабирования, в котором является расстоянием до объекта, и является расстоянием перемещения оконечного устройства в направлении от объекта по Z-оси.

9. Способ по любому из пп. 6-8, в котором способ дополнительно содержит:

для сотрясения изображения, вызванного регулировкой фокуса оконечного устройства, масштабирование оконечным устройством видеоизображения на основании коэффициента масштабирования, в котором является расстоянием до объекта, является расстоянием до изображения и является расстоянием, на которое линза перемещается к объекту.

10. Оконечное устройство, содержащее: процессор, дисплей, память и интерфейс связи; в котором

память выполнена с возможностью хранить выполняемую компьютером инструкцию, процессор соединен с памятью, и когда оконечное устройство работает, процессор выполняет выполняемую компьютером инструкцию, хранящуюся в памяти, так что оконечное устройство выполняет способ по любому из пп.1-9.

11. Машиночитаемый носитель данных, в котором машиночитаемый носитель данных хранит инструкцию, и когда инструкция выполняется на оконечном устройстве, оконечное устройство выполнено с возможностью выполнять способ по любому из пп. 1-9.