Способ измерения формы и размеров частей тела человека, способ поиска на изображении плоского объекта известной формы и размеров, способ отделения на изображении части тела человека от фона Российский патент 2019 года по МПК A43D1/02 

Изобретение относится к способам измерения, может быть использовано в легкой промышленности, в частности в обувной промышленности, швейной при измерении формы и размеров частей тела человека. Также может быть использована в ортопедии, оно позволяет проводить удаленную диагностику деформации (заболеваний) стопы, в частности плоскостопия.

Способ можно применять в быту, в торговой индустрии при реализации, продажи и удаленной покупки одежды и обуви, отвечающих реальным особенностям тела заказчика. Также может применяться для виртуальной примерки обуви в интернет-магазинах или в мобильных приложениях для удаленной покупки обуви или заказа пошива индивидуальной обуви.

Известен способ обмера ноги [US 20170053335 A1, 23.02.2017], который предусматривает захват трехмерного изображения ноги и их сравнение с обширными базами данных хранимых данных обуви. Этот способ позволяет лучше определять размер, чем обычными системами, при чем смартфон / iPhone / цифровая камера и связанные с ними инструменты интерфейса рекомендуют лучший выбор варианта обуви из разнообразных предложений.

Недостатки способа заключаются в низкой точности, узкой области применения (способ не работает при сильных теней, бликов, плохом освещении), высокой трудоемкости и времени подбора обуви.

Наиболее близки техническим решением является способ бесконтактного измерения поверхности стопы [RU 2034509, 10.05.1995]. Способ заключается в установке стопы на опорной площадке, освещении поверхности стопы плоскими лучами света, получении изображения следа этих лучей раздельно для внешней и внутренней боковой поверхностей стопы двумя телекамерами, оптические оси которых направлены под острыми углами к опорной плоскости и к плоским лучам. Визирование стопы осуществляют со стороны телекамеры, развернутыми к пяточной части стопы. При этом проекция оптических осей телекамер на опорную плоскость образуют угол. Вершина угла направлена в сторону пяточной части стопы и находится в точке, расположенной на проекции биссектрисы угла между оптическими осями камер на опорную плоскость. Пяточную часть стопы совмещают с помощью пяточного упора с заданной точкой отсчета, расположенной на проекции биссектрисы угла.

Недостатком способа-прототипа является низкая точность, высокая трудоемкость и время подбора обуви.

Технический результат группы изобретений - повышение точности.

Технический результат достигается использованием способа измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры, на изображении отделяется область части тела от фона, и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека.

Вышеуказанный способ предусматривает использование способа поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения.

Вышеуказанный способ предусматривает также использование способа отделения на изображении части тела человека от фона в ходе которого используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела.

Таким образом способы предназначены для использования в другом.

Использование изобретения приводит к снижению трудоемкости и времени измерения формы и размеров частей тела человека, а также расширению возможности использования для маломобильных групп людей: детей, пожилых людей.

Использование способа позволяет получить 3D-модель, например, ноги (ступни и голени) путем обработки серии фотографий, полученной при обводе ноги устройством с видеокамерой - повышение точности, снижение трудоемкости и времени измерения, расширение области применение, за счет возможности использовать вместе с мобильными устройствами. Данный способ идеально подходит для виртуальной примерки т.к. удобен для пользователей, не требует наличия специального оборудования, программного обеспечения и пересылки большого объема данных.

В настоящее время процесс 3D сканирования объектов с помощью профессиональных 3D сканеров основан на аддитивном принципе т.е. все что сканер видит, то включает в 3Д модель. Поэтому сканирование состоит из двух этапов: сканирование объекта и последующей обработки 3D модели вручную, во время чего необходимо устранить мусор, остатки поверхности на которой стоит или держится объект, правильно зашить дыры. Так как этот этап в настоящее время никак не автоматизирован, имеется большая доля человеческого фактора, а значит велика вероятность человеческих ошибок.

Данный способ, во-первых, основан на обратном принципе, все что сканер фиксирует, он исключает из итоговой воксельной модели, а во-вторых, автоматизирует все этапы, минимизирует погрешности, шумы на всех этапах, существуют операции проверки для обеспечения наилучшей точности объекта.

В результате сканирования обычным 3D сканером получается модель с множеством шумов. На фигуре 1 изображена 3D модель ноги полученная с помощью профессионального 3D сканера Sense, с заявленной точностью порядка 1 мм. Далее, на фигуре 2 рассмотрена итоговая воксельная модель, полученная сканированием нашим методом. Сравнение этих двух 3D моделей, рассмотренных на фигуре 3, подтверждает высокую точность нашего метода. Еще одним преимуществом рассматриваемого способа заключается в том, что в итоге получается твердотельная модель, в отличии от полигональной модели, получаемой в результате сканирования профессиональным 3D сканером Sense.

Осуществление изобретения поясняется примерами.

Пример 1.

1. Подготовка к сканированию

Перед началом сканирования, для получения наиболее качественной трехмерной модели ноги необходимо обеспечить достаточные условия. А именно:

- равномерное освещение, без яркого направленного света, теней и бликов;

- пол должен быть контрастным белому, однотонным и обязательно твердым (при сканировании на ковре с высоким ворсом углы у листа А4 приподнимаются, что не позволяет точно определить координаты листа А4)

- нога должна быть одета в темный носок (желательно в черном), чтобы отделяться от остального фона как связная темная область

2. Этап сканирования (получение серии фотографий)

Для получения трехмерной модели ноги необходимо поставить ногу посередине листа белой бумаги формата А4, выровнять пятку к краю листа, опереться на ногу и обвести вокруг ноги устройством с видеокамерой (смартфоном, веб-камерой, подсоединенной к персональному компьютеру или ноутбуку) по дуге около 200° с одной стороны тела до другой. Обвод ноги желательно производить на уровне колена, чтобы достигнуть наибольшей точности 3D-модели, однако способ сохраняет работоспособность при высоте движения устройства от 10 см от пола и выше. При начале сканирования пользователь нажимает кнопку СТАРТ, камера смартфона включается на запись, каждую секунду из видеопотока сохраняется один кадр, при нажатии на кнопку ГОТОВО процесс сканирования завершается. Процесс сканирования с помощью смартфона рассмотрен на фигурах 4 и 5.

Предполагается, что на каждой фотографии лист А4 должен быть виден полностью. Для определения формы и размеров голени на фотографиях должна быть видна голень. Также должна соблюдаться условие, что на один миллиметр представленной на фотографии сцены приходится не менее двух пикселей. Например, для 5-ти мегапиксельной камеры это достигается, если длина листа бумаги А4 на фотографии составляет не менее длины фотографии.

3. Формирование серии фотографий.

В результате сканирования получается серия фотографий в разрешении установленное на мобильном устройстве (не менее 2, максимальное количество не ограничено, оптимальное количество 12). Пример таких фотографий приведен на фигуре 6.

Для достижения максимального качества трехмерной модели и высокой скорости обработки целесообразно оставлять из всего набора 12 фотографий, выбранных, как наиболее резкие, и равномерно распределенные по набору.

4. Уменьшение и кадрирование фотографий

Для обеспечения одинаковых (предсказуемых) условий обработки фотографий и уменьшение исходящего трафика при передаче фотографий со смартфона на сервер все фотографии уменьшаются в целое число раз, кратное 2, чтобы разрешение было не менее 480*640. Фотографии больше данного разрешения кадрируются к нему, с тем чтобы лист А4 находился по центру фотографии. На выходе получаем серию фотографий разрешением 480×640.

5. На каждой фотографии определяется контур листа А4

Постепенное увеличивая контрастность изображения со сдвигом среднего уровня, за 10-20 итераций светлые области становятся белыми, темные - черными, а граница так и останется на своем месте. Исчезают тени, а размытые границы превращаются в резкие.

Для поиска листа А4 используется метод Монте-Карло. На фигуре 7 рассмотрен набор фотографий с обнаруженным контуром листа А4.

Для проверки совпадения прогнозируемого изображения листа А4 с реальным используется шаблон, рассмотренный на фигуре 8, в виде параллельных каждому ребру листа рядов точек. Количество рядов от 2 и выше, оптимальное количество 6 рядов, количество точек в ряду от 4 и выше, оптимальное количество 20…40. Критерий оптимизации, для проверки совпадения, составляется из разностей интенсивности в парных точках соответствующих рядов, взятых с определенными весами.

Для ускорения сходимости метода Монте-Карло используется постепенное сужение искомых диапазонов параметров камеры. Количество элементарных проверок для нахождения листа А4 с приемлемой точностью составляет порядка 10⁵…10⁶.

6. По положению листа А4 определяется положение и ориентация камеры

Задача определения параметров камеры (координаты в пространстве х, у, z, углы ориентации камеры α, β, γ, и фокусное расстояние f) ставится как обратная: необходимо так подобрать параметры камеры, чтобы прогнозируемое изображение листа А4 максимально совпало с реальным на фотографии. Иллюстрация объясняющая определение положение и ориентации камеры рассмотрена на фигуре 9.

Найденные параметры камеры используются далее для вырезания 3D-модели из воксельного массива.

7. На каждой фотографии эволюционным методом выделяется замкнутый контур ступни и голени между темным носком и светлым листом А4 и фоном.

Замкнутый контур ступни и голени ищется адаптируемым к предметной области методом динамики частиц. Данный метод заключается в том, что при натягивании контура на область ноги точки изначально располагаются по ребрам листа А4, и просчитывается «физическое взаимодействие» и «механическое движение» точек. Условные силы притяжения, действующие между соседними точками, приводят к стягиванию точек к ноге и сохраняют приблизительно постоянными расстояния между точками. Чтобы найти контур ноги добавляется сила, пропорциональная численной оценке второй производной от интенсивности фотографии поперек контура. Для этого интенсивность считывается с парных точек вне и снаружи контура распределенных по отношению к контуру (по аналогии с этапом поиска листа А4). Результат выделения контура ноги от фона рассмотрен на фигуре 10.

На фигуре 11 показано применение данного метода для выделения контура человека. На фигуре 12 показано применение метода для выделения контура кисти человека.

Дополнительно точность контура проверяется следующей последовательностью действий:

- изображение преобразовывается в серый,

- применяется медианный фильтр для сглаживания,

- затем применяется детектор границ Кэнни (фильтр Canny),

- вычисляется градиент яркости изображения в каждой точке, с помощью оператора Собеля (Sobel operator).

Результат этих действий показан на фигуре 13. Затем из этой заливки получаем контур, что показан на фигуре 14.

Данный метод построения контура позволяет определять высоту свода стопы, которую необходимо учитывать людям с плоскостопием при подборе обуви. При большинстве вариантов освещения вблизи данной области на изображении находится тень. И разработанный алгоритм позволяет отделить темную связную область ступни от тени, за исключением случаев очень сильной или плавно переходящей тени, когда даже человеку с использованием зрительного аппарата затруднительно отделить тень от поверхности ступни. На фигурах 15 и 16 рассмотрена 3D модель ноги с четко выраженным сводом стопы

8. С каждым кадром из воксельного массива, изначально имеющего форму параллелепипеда и расположенного над листом А4, отсекаются вокселы вне объема, ограниченного конической секущей поверхностью с вершиной в точке расположения камеры и направляющей, которой является контур ноги, полученный на предыдущем этапе, что изображено на фигуре 17.

Каждый кадр позволяет отсечь из исходного монолитного воксельного массива проекцию найденного ранее контура ноги. По мере постепенного отсечения воксельной модели с разных ракурсов, формируется достаточно точная воксельная 3D-модель ноги. На фигуре 18 рассмотрена последовательность формирования воксельной модели ноги. Слева показаны три проекции исходного воксельного массива. Справа показаны три проекции результирующей воксельной модель ноги. На фигуре 19 рассмотрены воксельное и полигональное представление (без дополнительного сглаживания и регуляризации сетки) 3D модели ноги (правая нога - воксельное представление, левая нога - полигональное представление).

9. Из результирующей воксельной модели устраняется артефакт сканирования в виде своеобразного «гребня».

Для упрощения и ускорения процедуры сканирования, камера ведется по плавной дуге на высоте колена. При этом область над ступней («подъем») определяется с меньшей точностью, чем остальные части ступни, из-за того, что с данных оптических направлений при отсечении воксельного массива проекциями контуров ноги над ступней получается не до конца срезанная область - «гребень», представляющий собой область модели с острым верхним краем, из-за чего оказываются завышены такие параметры 3D-модели ноги, как «высота в подъеме» и «обхват подъем-пятка».

Поэтому на следующем этапе используется алгоритм коррекции верхней поверхности ступни.

Для устранения «гребня» используется специальный алгоритм, на основе метода взаимодействующих движущихся точек. Для этого предварительно выделяется область поверхности над ступней, которую необходимо скорректировать. Затем в эволюционном цикле просчитывается механическое взаимодействие и движение точек поверхности. Для наиболее обоснованного восстановления поверхности над ступней используется информация о форме ступни с боков. Между движущимися точками действуют два типа сил: силы притяжения, стремящиеся максимально сократить расстояние между точками, и силы уменьшения изгиба, стремящиеся сделать поверхность максимально гладкой. На фигуре 20 слева рассмотрены три проекции воксельной модели с «гребнем», а справа три проекции воксельной модели после убирания «гребня». На фигуре 21 рассмотрены две воксельные модели с «гребнем» и без «гребня».

Алгоритм коррекции гребня не требуется, если сканирование ноги производится более тщательно, захватывая «виды сбоку» слева и справа, например, если дуга ведения камеры проходит не на высоте колена, а начинается от опорной поверхности справа от ноги, поднимается на уровень колена при виде на ногу спереди, и опускается снова к опорной поверхности слева от ноги.

10. 3D-Модель из воксельного формата переводится в формат obj - для последующей визуализации и хранения в компактной форме. При этом модель дополнительно сглаживается и проводится регуляризации сетки.

В процессе обработки предварительно строится поле заполнения пространства областью ноги, затем по внешней поверхности поля (область максимальных градиентов) располагаются ключевые точки исходя из максимизации равномерности покрытия поверхности, затем соединяются ребрами. За счет использования полевого подхода модель сглаживается; уровень сглаживания регулируется специальным параметром при построении поля. По полученному в результате набору точек и ребер строятся треугольники и этот набор данных переводится в формат «obj».

На фигуре 22 изображены две точные полигональные 3D-модели ног человека, полученные бесконтактным способом обводом устройством с видеокамерой ноги по дуге на уровне колена с одной стороны тела до другой.

Изобретение относится к способам измерения и может быть использовано в легкой промышленности, в частности в обувной промышленности, швейной при измерении формы и размеров частей тела человека, а также в ортопедии, в частности плоскостопия. Заявлен способ измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры. На изображении отделяется область части тела от фона, и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека. Также заявлен способ поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения. При этом в способе отделения на изображении части тела человека от фона используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек, последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела. Технический результат – повышение точности. 3 н.п. ф-лы, 22 ил.

1. Способ измерения формы и размеров частей тела человека, в ходе которого по серии фотографий, полученных с разных ракурсов части тела человека, на каждой фотографии определяется изображение плоского объекта известной формы и размеров, по которому определяется положение и ориентация камеры, на изображении отделяется область части тела от фона и по каждому кадру из произвольного тела, изначально включающего часть тела человека, постепенно отсекается область произвольного тела, не принадлежащая проекции части тела человека.

2. Способ поиска на изображении плоского объекта известной формы и размеров, его проекции, расположения и ориентации камеры, в ходе которого многократно случайным образом перебираются параметры положения и ориентации камеры, и прогнозируемое изображение плоского объекта известной формы и размеров сравнивается с реальным, с использованием шаблона, состоящего из нескольких рядов точек вдоль контура плоского объекта известной формы и размеров, между точками внутренних и внешних рядов которого попарно вычисляется разность яркости для расчета критерия совпадения.

3. Способ отделения на изображении части тела человека от фона, в ходе которого используется метод динамики частиц, в котором граница между областью части тела и фоном представляется в виде совокупности точек, последовательно расположенных для формирования контура, движущихся под действием условных сил, сохраняющих связанность контура и стремящихся переместить точку в место значительного изменения яркости, и формируя таким образом замкнутый контур, ограничивающий односвязную область части тела.