Способ измерения линейных размеров объекта по изображению с использованием образцового объекта Российский патент 2022 года по МПК A41H1/02 

Изобретение относится к способам бесконтактного определения линейных размеров объекта и может быть использовано для определения антропометрических размеров частей тела человека при виртуальном подборе и заказе одежды в онлайн-сервисах и ее производстве.

Из уровня техники известен способ измерения размеров (JP2017101356, МПК: A41H1/02, опубл. 08.06.2017), принятый за прототип, при котором изготавливается набор фотографий пользователя, включающий по крайней мере одно изображение пользователя спереди или сзади, а также вид сбоку. На основе размеров предмета-ориентира, размещенного так, чтобы размеры можно было считать с набора фотографий, определяют фактические размеры, которые служат ориентиром для размеров на вышеупомянутых изображениях. Таким образом, каждая часть тела пользователя может быть измерена по изображению, полученному при простой съемке, что значительно сокращает затраты времени для пользователя при изготовлении одежды. Помимо этого, для измерения не требуется специальных знаний или навыков, а также специальных или дорогостоящих инструментов. Недостатком указанного известного способа является то, что данный способ предполагает нахождение точек измерения на изображении при участии человека, точки измерения могут находиться в разных плоскостях относительно друг друга, что может снизить точность измерений за счет привнесенных ошибок при ручной обработке фотографий. Кроме того, для проведения измерений необходимо участие второго человека либо специальное оборудование для съемки.

Достигаемый заявляемым способом технический результат заключается в повышении точности бесконтактного определения линейных размеров, повышении скорости получения результата измерений за счёт использования алгоритмов компьютерного зрения и нейросетевых технологий, анализирующих изображения без участия человека в процессе определения размеров измеряемого объекта, что исключает возникновение ошибок, которые могут быть вызваны невнимательностью человека.

Технический результат достигается за счет того, что для получения изображения в кадре вместе с измеряемым объектом размещают образцовый объект, с помощью мобильного устройства делают фотографии с разных ракурсов, например, сверху и сбоку для определения ширины и длины объекта соответственно, передают их электронным способом на сервер в вычислительный алгоритм, далее последовательно на каждом изображении при помощи алгоритмов компьютерного зрения и искусственной нейросети проводят определение контуров измеряемого и эталонного объектов, при котором находят координаты крайних точек контура образцового объекта и выполняют проективное преобразование для нахождения реальных размеров измеряемого объекта с учетом перспективных искажений кадра.

Проективное преобразование – это формула, которая позволяет перевести видимые размеры объекта в кадре в его истинные размеры с учетом того, что объекты, расположенные дальше, имеют меньшие видимые размеры. Проективное преобразование устраняет искажение визуализации размера объекта, которое возникает, когда при съёмке камера расположена под произвольным углом к объекту.

Заявляемый способ реализуют последовательно. С помощью мобильного телефона с установленным на нём ПО фиксируют изображение так, чтобы в кадр попадали измеряемый и образцовый объекты, делают фотографии с разных ракурсов, например, сверху и сбоку для получения ширины и длины объекта соответственно. Полученные изображения передаются на сервер, где происходит их последовательная обработка. Обработку изображений осуществляют методами компьютерного зрения с использованием искусственной нейросети, при этом находят пиксельную маску и контур образцового объекта, аппроксимируют контур многоугольником, получают угловые точки, затем находят пиксельную маску и контур измеряемого объекта, определяют крайние точки контура образцового объекта известных размера и формы, после чего с помощью проективного преобразования находят физические размеры измеряемого объекта с учетом перспективных искажений, вызванных произвольным расположением камеры при съемке. Результатом осуществления способа является один размер измеряемого объекта (длина или ширина) для одного исходного изображения. Результат измерений отображается на мобильном телефоне пользователя, сделавшего фотографии.

Информация об образцовых объектах известного размера и формы содержится в базе размеров образцовых объектов, обращение к которой осуществляется алгоритмом автоматически, благодаря чему участие оператора не требуется.

Признаками изобретения, общими с прототипом, являются следующие: измерение линейных размеров объекта включает создание фотографии или набора фотографий измеряемого объекта в разных проекциях, с одновременным расположением в кадре образцового объекта (предмета-ориентира) с заранее известными размерами, размещенного так, чтобы размеры можно было считать с фотографий, обработка изображений вычислительным алгоритмом, вычисление фактического размера измеряемого объекта.

Признаки изобретения, отличные от прототипа:

1) В способе, принятом за прототип, фотографии человека с прикрепленным к нему объектом-ориентиром делаются так, что размеры объекта-ориентира в вертикальном и горизонтальном направлении могли быть получены из указанных фотографий. Также в случае использования открытки государственного образца в качестве предмета-ориентира она размещается так, чтобы одна из сторон была ориентирована горизонтально, а другая — вертикально. Далее способ измерения масштаба изображения представляет собой вычисление отношения фактических размеров сторон предмета-ориентира к видимым размерам его сторон на изображении. Такой способ вычисления размеров вносит ограничение на ракурс съёмки и расположение предмета-ориентира в кадре, так как угол и перспектива искажают размер, полученный на фотографии. В связи с чем для точного вычисления размеров тела человека предмет-ориентир должен находиться в плоскости, строго перпендикулярной оси зрения камеры.

В отличие от прототипа, заявляемый способ включает обнаружение контуров и характерных точек (например, углов) образцового объекта. Далее с учетом заранее известной формы образцового объекта (прямоугольник, круг и т.д.), информация о которой хранится в базе образцовых объектов на сервере, строится проективное преобразование, которое позволяет компенсировать искажения, вызванные наличием перспективы кадра. Это, в свою очередь, позволяет изготавливать фотографии с помощью камеры, находящейся под произвольным углом к образцовому и измеряемому объектам.

2) В способе, принятом за прототип, для измерения размеров тела человека, необходимых для изготовления одежды, вычисляются расстояния между точками измерения (например, точки вершины плеч и т.д.). Нахождение расположения точек вычисления на изображении может выполняться человеком. Данный этап обработки фотографии занимает много времени и из-за непосредственного участия в нём человека может привести к появлению ошибок в вычислении положения точек измерения, что далее приводит к появлению и накоплению ошибок в вычислении размеров частей тела человека.

Заявляемый способ, в отличие от прототипа, предполагает полностью автоматизированное измерение интересующих размеров объекта, например, какой-либо части тела человека, за счёт следующих этапов:

а) Автоматизированное обнаружение контура части тела человека за счёт анализа всех контуров на фотографии и выбора наибольшего контура в пределах кадра;

б) Автоматизированное обнаружение точной пиксельной маски части тела человека посредством обработки найденного выше контура искусственной нейросетью;

в) Автоматизированное уточнение контура за счет анализа найденной точной пиксельной маски части тела человека;

г) Автоматизированное обнаружение точек измерения на контуре части тела человека;

д) Автоматизированное вычисление фактических размеров части тела человека с учетом перспективных искажений кадра, вызванных расположением камеры под произвольным углом к измеряемому объекту.

Таким образом, в заявляемом способе участие человека при вычислении размера части тела ограничивается этапом изготовления фотографий, а последующие стадии: анализ изображений и вычисления — осуществляются автоматически алгоритмами компьютерного зрения с использованием искусственной нейросети, что повышает точность вычисления реальных размеров измеряемого объекта, снижает время обработки фотографий и исключает ошибки, вызванные наличием человеческого фактора.

Способ измерения линейного размера измеряемого объекта по совместному изображению измеряемого и образцового объекта состоит из следующих этапов:

1. Создание сцены для получения изображения, подходящего для проведения дальнейших расчетов.

2. Передача полученного изображения электронным способом в вычислительный алгоритм.

3. Выполнение вычислительного алгоритма определения реального размера измеряемого объекта:

3.1. Поиск на изображении области расположения образцового объекта.

3.1.1. Обработка изображения для повышения контрастности и снижения уровня шума.

3.1.2. Получение на изображении контуров контрастных объектов.

3.1.3. Поиск контура образцового объекта по его геометрическим признакам (форма, размер).

3.1.4. Вычисление координат описывающей области для контура образцового объекта и её расширение.

3.2. Определение видимых размеров образцового объекта на изображении.

3.2.1. Детектирование и идентификация образцового объекта внутри найденной прямоугольной области с нахождением его пиксельной маски с помощью нейросети типа U2-Net.

3.2.2. Нахождение контура найденной пиксельной маски образцового объекта.

3.2.3. Аппроксимация контура пиксельной маски образцового объекта подходящей геометрической фигурой, описывающей форму соответствующего типа образцовых объектов (например, четырёхугольник, эллипс).

3.2.4. Нахождение характерных точек контура, описывающих видимый размер образцового объекта.

3.3. Поиск на изображении измеряемого объекта.

3.3.1. Удаление с изображения образцового объекта путем заливки области его нахождения однородным цветом.

3.3.2. Детектирование измеряемого объекта на изображении и нахождение его пиксельной маски с помощью нейросети типа U2-Net.

4. Нахождение крайних точек контура маски измеряемого объекта, расстояние между которыми позволяет получить измеряемый размер объекта в заданном ракурсе.

5. Вычисление геометрических параметров сцены с учетом перспективы на основании известных физических и вычисленных видимых размеров образцового объекта, при использовании библиотеки параметров образцовых объектов и проективного преобразования.

6. Вычисление физического размера измеряемого объекта на основании вычисленных геометрических параметров сцены и найденных видимых размеров измеряемого объекта.

7. Результатом выполнения алгоритма является один размер измеряемого объекта (длина или ширина) для одного исходного изображения.

Изобретение иллюстрируется следующими фигурами и примером реализации.

На фиг. 1 изображен пример расположения в кадре (на исходном изображении) образцового объекта 1 (на примере листа бумаги А4) и измеряемого объекта 2 (на примере ступни человека) для ракурса «вид сверху».

На фиг. 2 изображен пример исходного изображения образцового объекта 1 и измеряемого объекта 2 для ракурса «вид сбоку».

Пример реализации способа. С помощью мобильного телефона с камерой последовательно сделали несколько фотографий тыльной стороны стопы сверху (фиг. 1) и сбоку (фиг. 2). При этом рядом с измеряемым объектом 2 — ногой в кадре размещали образцовый объект 1, в качестве которого использовали лист бумаги формата A4 (размеры которого 29,7 на 21,0 см). Полученные изображения подвергали последовательной автоматизированной обработке в соответствии с заявляемым способом, с помощью алгоритмов компьютерного зрения и искусственной нейросети. При обработке автоматически были найдены маска и контур листа бумаги, контур в дальнейшем аппроксимирован прямоугольником, для которого получены угловые точки. Таким же образом находили маску и контур стопы, с помощью алгоритмов компьютерного зрения определяли крайние точки контура (для вида сверху и сбоку). Далее было выполнено построение проективного преобразования крайних точек листа и стопы из плоскости изображения, измерение расстояния между спроецированными точками, получены реальные физические размеры стопы человека: длина и ширина (27,2 и 10,0 см соответственно).

Полученные длину и ширину стопы можно конвертировать в стандартные размеры обуви, существенно облегчив ее подбор.

Изобретение относится к способам бесконтактного определения линейных размеров объекта и может быть использовано для определения антропометрических размеров частей тела человека при виртуальном подборе и заказе одежды в онлайн-сервисах и ее производстве. Способ измерения линейных размеров объекта, включающий создание набора фотографий измеряемого объекта с разных ракурсов, например, сверху и сбоку для определения ширины и длины объекта соответственно, при одновременном расположении в кадре образцового объекта с заранее известными размерами и формой, размещенного так, чтобы размеры можно было считать с фотографии, обработку изображений вычислительным алгоритмом, вычисление фактического размера измеряемого объекта, при этом полученные изображения передают электронным способом на сервер в вычислительный алгоритм, после чего последовательно обрабатывают каждое изображение при помощи алгоритмов компьютерного зрения и искусственной нейронной сети, при этом находят пиксельную маску и контур образцового объекта, аппроксимируют контур многоугольником, затем находят пиксельную маску и контур измеряемого объекта, определяют крайние точки контура измеряемого и образцового объектов, после чего с помощью проективного преобразования находят физические размеры измеряемого объекта с учетом перспективных искажений и на основании найденных видимых размеров измеряемого объекта. Технический результат заключается в повышении точности бесконтактного определения линейных размеров, повышении скорости получения результата измерений за счёт использования алгоритмов компьютерного зрения и нейросетевых технологий, анализирующих изображения без участия человека в процессе определения размеров измеряемого объекта, что исключает возникновение ошибок, которые могут быть вызваны невнимательностью человека. 2 ил.

Способ измерения линейных размеров объекта, включающий создание набора фотографий измеряемого объекта спереди или сзади, или сверху, а также вида сбоку, при одновременном расположении в кадре образцового объекта с заранее известными размерами и формой, размещенного так, чтобы размеры можно было считать с фотографии, обработку изображений вычислительным алгоритмом, вычисление фактического размера измеряемого объекта, отличающийся тем, что полученные изображения передают электронным способом на сервер в вычислительный алгоритм, после чего последовательно обрабатывают каждое изображение при помощи алгоритмов компьютерного зрения и искусственной нейронной сети, при этом находят пиксельную маску и контур образцового объекта, аппроксимируют контур многоугольником, затем находят пиксельную маску и контур измеряемого объекта, определяют крайние точки контура измеряемого и образцового объектов, после чего с помощью проективного преобразования находят физические размеры измеряемого объекта с учетом перспективных искажений и на основании найденных видимых размеров измеряемого объекта.