СПОСОБ СИМУЛЯЦИИ ВЗАИМОДЕЙСТВИЙ С ТВЁРДЫМИ ТЕЛАМИ И ИХ ОБРАБОТКИ БОРМАШИНОЙ С ИМИТАЦИЕЙ ТАКТИЛЬНОЙ ОБРАТНОЙ СВЯЗИ, РЕАЛИЗУЕМЫЙ НА ЭВМ Российский патент 2017 года по МПК G09B19/00 

Изобретение относится к моделированию и симуляции и может быть использовано в составе различного рода систем симуляции, в том числе и медицинских, с использованием виртуальных объектов и устройств управления с обратной связью (гаптик-устройств).

Приобретение практических навыков работы с бормашиной важно при обучении специалистов как технических специальностей, например, ювелиров и граверов, так и медицинских, например, стоматологов и отариноларингологов. Из экономических и практических соображений в обучении разумно использовать системы симуляции, позволяющие получить необходимые навыки.

Системы симуляции, в которых возможно применение предлагаемого авторами способа, реализуются на ЭВМ. Основной целью работы системы симуляции является создание у пользователя реалистичных ощущений, соответствующих таковым при обработке реального объекта с использованием бормашины. При взаимодействии с системой симуляции пользователь использует дисплей компьютера либо аналогичное средство отображения графической информации для наблюдения за результатом визуализации симулируемых взаимодействий и устройство тактильного ввода-вывода как для ввода информации о положении и ориентации инструмента в виртуальном пространстве, так и для получения вывода в виде генерируемых устройством сил обратной связи, которые имеют такие направление и величину, чтобы создать у пользователя ощущение физического контакта с виртуальным объектом и ощущение использования бормашины для обработки виртуального объекта.

Работа системы сводится к автоматическому циклическому выполнению следующих шагов:

1. Опрос устройств ввода-вывода.

На этом шаге происходит получение входных данных с устройств ввода-вывода. В случае устройств тактильного ввода-вывода входными данными являются данные о положении в пространстве и ориентации рукояти устройства. Рукоять устройства используется пользователем системы для взаимодействия с системой и, как правило, имитирует какой-либо инструмент, использование которого симулируется в системе.

Данные с устройств ввода-вывода используются в качестве входных данных при реализации какого-либо способа симуляции взаимодействий. В частности, данные о положении и ориентации рукояти устройства ввода-вывода используются для задания положения и ориентации виртуального инструмента.

2. Инициализация способа симуляции.

Инициализация заключается в формировании входных данных для способа симуляции. В качестве входных данных используются как данные с устройства ввода-вывода, полученные при выполнении пункта 1, так и данные, полученные на предыдущей итерации цикла симуляции.

3. Выполнение шагов способа симуляции взаимодействия с моделируемыми объектами с использованием моделируемых инструментов.

Шаги способа симуляции отличаются для каждого из возможных способов, однако, в общем случае служат решению общих задач:

a) обнаружение столкновений - служит для определения взаимного расположения виртуального инструмента и моделируемого объекта в соответствии с новыми данными о положении и ориентации инструмента, полученными ранее на текущей итерации симуляции; в результате определяется положение бора на поверхности моделируемого объекта и ориентация бормашины, которые будут использованы в дальнейшем;

b) расчет объема материала, удаляемого бором в области соприкосновения с поверхностью объекта - в случае, если происходит симуляция обработки моделируемого объекта бормашиной, то необходимо определить, какое количество материала объекта было удалено в каждой точке соприкосновения бора с поверхностью объекта после перемещения его в новое положение в результате изменения пользователем положения рукояти устройства ввода-вывода;

c) обновление модели моделируемого объекта - в случае, если происходит симуляция обработки моделируемого объекта бормашиной, на основании данных об объеме материала, который был удален, происходит обновление моделируемого объекта таким образом, чтобы его состояние отражало факт удаления части материала с учетом геометрии бора и вычисленного ранее объема удаленного материала;

d) определение положения бора на поверхности моделируемого объекта и ориентации бормашины в результате симуляции соприкосновения бора с поверхность моделируемого объекта и обработки его с удалением материала;

e) расчет тангенциальной силы, обусловленной взаимодействием вращающегося бора с поверхностью объекта - в случае, если происходит симуляция обработки бормашиной, необходимо определить, какая сила окажется приложена к бору виртуальной бормашины в результате взаимодействия еще с моделируемым объектом в следствие перемещения пользователем рукояти устройства ввода-вывода;

f) расчет силы обратной связи - для создания у пользователя ощущения взаимодействия с виртуальным объектом, необходимо вычислить величину и вектор силы обратной связи, которую необходимо создать с использованием устройства тактильного ввода-вывода.

4. Сохранение необходимых данных для использования на следующей итерации симуляции.

5. Отправка на устройство тактильного ввода-вывода команды на приложение к рукояти силы вычисленной величины в вычисленном направлении.

6. Визуализация виртуального пространства в соответствии с изменением положения виртуальной бормашины и геометрии моделируемого объекта.

Качество симуляции определяется качеством реализации основных шагов симуляции, описанных в пункте 3.

В настоящее время разработаны и описаны различные способы симуляции взаимодействия с твердыми телами и имитации их обработки при помощи бормашины. Наиболее широкое применение такие методы нашли в симуляторах для обучения операциям на костных структурах [Petersik A. et al. Haptic rendering of volumetric anatomic models at sub-voxel resolution // Eurohaptics. - 2001. - T. 12. - C. 182-184., Petersik A. et al. Realistic haptic interaction in volume sculpting for surgery simulation // Surgery Simulation and Soft Tissue Modeling. - Springer Berlin Heidelberg, 2003. - C. 194-202., Morris D. Haptics and physical simulation for virtual bone surgery: дис. - Stanford University, 2006.] и зубоврачебных симуляторах [Wu J. et al. Toward stable and realistic haptic interaction for tooth preparation simulation // Journal of Computing and Information Science in Engineering. - 2010. - T. 10. - №. 2. - C. 021007., Arbabtafti M. et al. Haptic and visual rendering of virtual bone surgery: A physically realistic voxel-based approach // Haptic Audio visual Environments and Games, 2008. HAVE 2008. IEEE International Workshop on. - IEEE, 2008. - C. 30-35.].

Далее приведены основные подходы, используемые в указанных способах симуляции для решения задач 3.a-3.f.

Как правило, обнаружение столкновений между инструментом и моделируемым объектом происходит апостериорно, т.е. уже после того, как произойдет взаимное проникновение объектов друг в друга. Среди таких методов выделяются:

- методы, основанные на представлении инструмента в виде разреженного облака точек [McNeely W.Α., Puterbaugh K.D., Troy J.J. Voxel-based 6-dof haptic rendering improvements // Haptics-e. - 2006. - T. 3. - №. 7. - C. 1-12., Petersik A. et al., 2001, Petersik A. et al., 2003];

- методы, основанные на представлении как моделируемого объекта, так и инструмента в виде воксельных массивов [Morris D., 2006, Wu J. et al., 2010].

Однако, методы из обеих групп не позволяют в ряде случаев избежать прохождения виртуального инструмента сквозь поверхность моделируемого объекта - пронзания - в случае приложения значительной силы со стороны пользователя. Кроме того, большинство подобных методов может иметь проблемы в случае работы с телами сложной геометрии, имеющими различного рода каналы и сквозные отверстия. Проблемы могут возникать как при обнаружении столкновений, так и при расчете силы обратной связи и вычислении положения инструмента на поверхности моделируемого объекта.

Расчет силы обратной связи при применении описанных подходов происходит путем вычисления приблизительного положения инструмента на поверхности моделируемого объекта в результате анализа глубины и направления проникновения [McNeely W.A. et al., 2006, Petersik A. et al., 2001, Morris D., 2006]. В ряде случаев такой подход может приводить к снижению качества обратной связи за счет возникновения дрожания и вибрации инструмента при помещении его в какой-либо канал или отверстие, а также выработку недостаточной для имитации прикосновения силы обратной связи, приводящей к ощущению мягкости моделируемого объекта и возможности его пронзания.

Для вычисления объема удаляемого материала применяются различные способы [Petersik A. et al., 2003, Morris D., 2006, Wu J. et al., 2010, Arbabtafti M. et al., 2008]. Однако значительная их часть основана на построении зависимости между глубиной проникновения бора в моделируемый объект при нажатии и объемом удаляемого материала. Хотя такие методы и способны при должной настройке обеспечить реалистичный результат, скорость удаления материала тем не менее может быть слишком высокой для того, чтобы быть реалистичной. Кроме того, при использовании описанного подхода скорость удаления материала напрямую зависит от силы, с которой пользователь давит на моделируемый объект. Такое явление только частично отражает реально происходящий процесс, поскольку в реальности скорость удаления в значительной степени определяется геометрией бора, скоростью его вращения, качеством и положением относительно поверхности объекта.

Помимо силы обратной связи, необходимой для имитации прикосновения к моделируемому объекту, необходима также имитация тангенциальной силы, причиной появления которой является соприкосновение вращающегося бора с поверхностью объекта. Не все из указанных ранее способов симуляции имеют возможность расчета тангенциальной силы.

Наиболее близким к предлагаемому способу является способ, заключающийся в представлении инструмента в виде разреженного облака точек, проведении апостериорного обнаружения столкновений и вычислении объема материала, удаляемого бором в точке касания на основе линейной комбинации позиций виртуального инструмента, соответствующей положению устройства ввода, и образа инструмента на поверхности объекта. [Petersik A. et al. Method for the simulation of the haptic of an interaction of a guided object with a virtual three-dimensional object: пат.8396698 США. - 2013.]:

1) Реализуемый с использованием ЭВМ метод симуляции тактильных взаимодействий инструмента, управляемого пользователем, с виртуальным трехмерным объектом, где инструмент обладает поверхностью и управляется с использованием гаптик-устройства, включающий в себя выполняемые ЭВМ шаги:

a) формирование множества точек P_i, расположенных на поверхности устройства, или, по крайней мере, в активной области инструмента, которая может вступать в контакт с поверхностью объекта в ходе выполнения метода применения метода, с векторами n_i, начинающимися в каждой из точек P_i и заканчивающимися внутри объема инструмента, нормальных к поверхности инструмента и направленными внутрь инструмента,

b) определение копии инструмента в качестве образа, являющегося точной копией инструмента, по крайней мере в отношении точек P_i и векторов n_i,

c) определение позиции инструмента, как центральной точки инструмента (ЦТИ), и позиции образа, как центральной точки образа (ЦТО),

d) задание начальной позиции ЦТО в момент времени T_i, для которого ни одна из конечных точек векторов n_i не имеет контакта с объектом,

e) приведение инструмента в состояние соприкосновения с объектом с возможным его пронзанием, формируя таким образом положение ЦТИ в момент времени

Т_-1,

f) определение новой позиции ЦТО в момент времени Т₀ исходя из позиции ЦТО в момент времени T_-1 и позиции ЦТИ в момент времени Т₀, путем определения позиции ЦТО в момент времени Т_{0 промежуточное} на линии, соединяющей ЦТО в момент времени T_-1 и ЦТИ в момент времени Т₀, на расстоянии от ЦТО в момент времени T_-1 не более одной длины вектора n_i или доли одной длины вектора n_i, где расстояние определяется, как смещение длины l,

g) новая позиция ЦТО в момент времени Т₀ вычисляется на основе анализа возможных ситуаций:

1) если конечная точка хотя бы одного из векторов n_i образа углублена в объект при расположении образа в позиции ЦТО в момент времени Т_{0 промежуточное}, то позиция ЦТО в момент времени Т₀ определяется, как позиция ЦТО в момент времени T_-1, в противном случае,

2) вектора n_i сканируются до обнаружения пересечения с поверхностью объекта, что приводит к получению векторов s_i, определяющих проникновения для точек P_i относительно соответствующих точек пересечения векторов n_i с поверхностью, причем вектора s_i сонаправлены соответствующим векторам n_i, вычисляется вектор коррекции s на основе векторов s_i таким образом, что направление вектора s определяется, как направление суммы векторов s_i, и смещение позиции ЦТО в момент времени Т_{0 промежуточное} корректировки s определяет положение ЦТО в момент времени Т₀, и

В) гаптик-устройство генерирует силу обратной связи в направлении от позиции ЦТИ в момент времени Т₀ к позиции ЦТО в момент времени Т₀.

2) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где позиция ЦТО в момент времени и позиция T_-1 ЦТИ в момент времени T_-1 совпадают в начальном положении.

3) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где шаги с е по h повторяются.

4) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где инструмент и объект графически отображаются и перемещение инструмента представляется образом.

5) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где длина вектора корректировки вычисляется с использованием проекции, сложения или усреднения векторов углубления s_i.

6) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где на шаге g.2 вектора n_i сканируются постепенно, начиная с соответствующей конечной точки в направлении точки P_i до тех пор, пока для каждого не будет найдена первая точка пересечения с поверхностью объекта на векторе n_i, определяя таким образом вектор углубления s_i.

7) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где смещение 1 соответствует длине кратчайшего из векторов n_i.

8) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где объект определяется математической функцией, или с помощью объемной модели, состоящей из множества вокселей.

9) Реализуемый с использованием ЭВМ метод, описанный в пункте 1, где гаптик-устройство сила обратной связи, сонаправленая вектору от позиции ЦТИ в момент времени Т₀ к позиции ЦТО в момент времени Т₀, пропорциональна расстоянию от позиции ЦТИ в момент времени Т₀ к позиции ЦТО в момент времени Т₀.

10) Реализуемый с использованием ЭВМ метод симуляции тактильных взаимодействий инструмента, управляемого пользователем, с виртуальным трехмерным объектом, обладающим поверхностью, где инструмент управляется гаптик-устройством, и где объект испытывает удаление материала на поверхности по причине взаимодействия материала с объектом, включающий в себя следующие реализуемые на ЭВМ шаги:

A) использование гаптик образа, используемого в качестве первичного представления инструмента, где гаптик образ расположен на поверхности трехмерного объекта,

B) определение нового образа, называемого образ удаления материала, в качестве следующего представления инструмента, имеющего позицию, обозначенную, как центр образа удаления материала (ЦОУМ),

C) определение позиции образа удаления материала, как линейной комбинации позиции габтик образа и позиции инструмента, поднесенного к объекту, каждая из которых взята в один и тот же момент времени,

D) удаление материала из объекта в области пересечения образа удаления материала с объектом, генерируя таким образом новую поверхности объекта путем удаления материала,

Е) обновление позиции гаптик образа на поверхности объекта, где позиция гаптик образа находится на поверхности, сформированной в результате удаления материала, где ЦОКМ, определяющий позицию образа удаления материала, получается, как линейная комбинация позиции ЦТО в момент времени Т₀ и позиции ЦТИ в момент времени Т₀, каждая определяемая в конкретный момент времени, используя линейное взвешивание ЦТО и ЦТИ в соответствии с формулой

где a принимает значения от 0 до 1 и является характеристикой твердости материала, скорости удаления материала и/или остроты инструмента или усредненной или взвешенной комбинацией этих переменных, где 0 соответствует твердому телу, и 1 соответствует мягкому телу, где 0 соответствует низкой скорости удаления материала, и 1 соответствует высокой скорости удаления материала, где 0 соответствует низкой остроте инструмента, и 1 соответствует высокой остроте инструмента.

11) Реализуемый с использованием ЭВМ метод, описанный в пункте 10, где гаптик образ и образ удаления материала обрабатываются в двух процессах, где по крайней мере 500 позиций гаптик образа в секунду обрабатываются для имитации тактильной обратной связи и от 5 до 200 позиций образа удаления материала в секунду обрабатывается для вычисления объема удаляемого материала.

12) Реализуемый с использованием ЭВМ метод, описанный в пункте 10, где симуляция тактильной обратной связи и гаптик образа происходит с использованием метода в соответствии с пунктом 1.

13) Реализуемый с использованием ЭВМ метод, описанный в пункте 10, где независимо друг от друга, а есть усредненная или взвешенная комбинация переменных:

A) твердость материала, определяемая атрибутом твердости элемента объема и/или средней твердостью элементов объема, находящихся в контакте с ЦТО и лежащая в пределах от 0 до 1,

B) скоростью удаления материала определяемая скоростью удаления материала инструментом, применяемая с приведением диапазона значений к диапазону от 0 до 1,

C) острота инструмента, определяемая переменной от 0 до 1, определяемая выбранным инструментом.

Указанный способ не лишен недостатков:

I. При быстром перемещении инструмента возможно пронзание поверхности объекта. Пронзание может произойти в случае смещения инструмента на расстояние, большее l когда позиция ЦТО в момент времени Т_{0 промежуточное} находится по другую сторону поверхности объекта, поскольку в этом случае вектор корректировки будет направлен в сторону, противоположную той, в которой находится позиция ЦТО в момент времени T_-1, что приведет к выталкиванию инструмента с противоположной стороны объекта. В первую очередь данная проблема может возникать в случае тонких объектов.

II. Как обозначено в [Petersik A. et al., 2003], возникают проблемы при попытке контакта с отверстиями и углублениями в объекте, поскольку в этом случае вычисление вектора коррекции может не приводить к определению правильного положения образа инструмента на поверхности объекта, при котором не происходит проникновения инструмента в объект.

В случае подобного рода контакта может не возникнуть ощущения соприкосновения с твердым телом, а также может произойти пронзание объекта, поскольку сила обратной связи недостаточна для обеспечения должного сопротивления давлению, а способ обнаружения и обработки столкновений не гарантирует отсутствие пронзаний.

III. При попытке размещения инструмента в узких проходах, диаметр которых приблизительно равен диаметру бора, возникают вибрации, обусловленные тем, что вычисляемый вектор корректировки слишком велик и приводит к смещению инструмента в такое положение, что он проникает в поверхность объекта, в результате чего на следующей итерации обработки вновь возникает необходимость коррекции его положения и т.д.

IV. Вычисление объема материала, удаляемого бором в области касания, по приведенной в описании способа формуле недостаточно точно и может приводить к имитации излишне быстрого удаления материала и фактически не зависит от параметров самого бора, таких как радиус, скорость вращения, свойства поверхности, угол наклона оси вращения к поверхности моделируемого объекта (учет ряда параметров возможен путем изменения коэффициента а, чего недостаточно для реалистично симуляции). Как видно из формулы (*), объем удаляемого материала зависит от длины вектора, соединяющего текущие положения образа и инструмента. Таким образом, в случае приложения значительного усилия к устройству ввода возможно удаление объема материала большего, чем фактически возможно. Более того, при очень большом давлении возможно удаление материала внутри объекта.

Таким образом, описанный способ не позволяет с достаточной степенью реалистичности симулировать взаимодействие с объектом и обработку его при помощи бормашины.

Авторами впервые предлагается реализуемый с использованием ЭВМ способ симуляции взаимодействий с твердыми телами и их обработки бормашиной с имитацией тактильной обратной связи, включающий в себя применение непрерывной трассировки перемещения инструмента для произведения априорного обнаружения столкновений, а также математическую модель вычисления объема материала, удаляемого бором при соприкосновении с поверхностью моделируемого объекта, в зависимости от геометрии, качества, скорости вращения бора и свойств материала моделируемого объекта.

Использование предлагаемого способа требует представления моделируемого объекта и инструмента в виде массива вокселей - равномерно распределенных в пространстве кубов крайне малого объема, для каждого из которых известны его координаты в пространстве и материал, заключенный в его объеме. Построение таких массивов может быть произведено как предварительно, например, с использованием данных компьютерной томографии, так и происходить в реальном времени. Отличие от подхода, использованного в прототипе, заключается в том, что, в отличие от прототипа, и инструмент, и объект представлены вокселями, причем разрешение воксельной сетки одинаково, причем поверхность инструмента покрывается вокселями непрерывно - в прототипе предполагается, что точки, используемые для представления поверхности инструмента, распределены по его поверхности разреженно и не равномерно с точки зрения прямоугольной системы координат. Применение предлагаемого авторами подхода позволяет выполнить аппроксимацию поверхностей инструмента и объекта наиболее оптимальным для произведения обнаружения столкновений способом.

Предложенный способ позволяет, в отличие от прототипа, производить априорное обнаружение столкновений с использованием карт оккупации пространства вокселями моделируемого объекта и инструмента. Применение карт оккупации давно известно, однако применяется для апостериорного обнаружения столкновений, при котором факт столкновения фиксируется после того, как произойдет взаимное проникновение объектов.

Типичная картина, наблюдаемая при применении апостериорного определения столкновений приведена на фиг. 1, где

1. моделируемый объект, состоящий из вокселей;

2. моделируемый инструмент;

Как можно видеть, инструмент (2), проник под поверхность моделируемого объекта (1). На фиг. 1 а) изображен результат применения способа, описанного в качестве прототипа. На фиг. 1 б) изображено использование карт оккупации для реализации апостериорного обнаружения столкновений. Как можно видеть, оба из представленных вариантов не позволяют однозначно определить положение инструмента на поверхности объекта.

Авторами предлагается производить непрерывную трассировку перемещения инструмента в пространстве и проверку на столкновение с моделируемым объектом на каждом шаге трассировки. Такой подход позволяет не только гарантированно обнаружить столкновение, но и однозначно определить положение инструмента на поверхности объекта.

Под трассировкой в данном случае понимается построение траектории перемещения инструмента в пространстве, основываясь на данных, полученных с устройства ввода, геометрии инструмента и объекта. Трассировка производится таким образом, чтобы минимизировать расстояние между виртуальным инструментом и точкой, представляющей положение устройства ввода в виртуальном пространстве, и в то же время не допустить прохождения инструмента сквозь поверхность моделируемого объекта.

На каждой итерации обработки данных с гаптик-устройства производятся следующие действия:

1. Фиксируется начальное положение инструмента, определяемое, как положение инструмента в конце предыдущей итерации (точка А).

2. Фиксируется желаемое положение инструмента, определяемой, как положение контрольной точки гаптик-устройства в виртуальном пространстве (точка Б).

3. Производится поиск нового положения инструмента по следующему алгоритму, разработанному авторами:

a. Определяются направления, перемещение в которых приведет к уменьшению расстояния между текущим положением инструмента и точкой Б. Потенциальные направления смещения помещаются в список и упорядочиваются в порядке увеличения расстояния между инструментом и точкой Б при смещении в этом направлении на один воксель.

b. Для каждого из выбранных направлений проверяется, что при смещении образа инструмента в этом направлении на один воксель не произойдет проникновения инструмента в поверхность моделируемого объекта.

c. Если при смещении в выбранном направлении на один воксель происходит проникновение инструмента в поверхность моделируемого объекта, то выбирается следующее направление из списка.

d. Если при смещении в выбранном направлении на один воксель не происходит проникновения инструмента в поверхность моделируемого объекта, то фиксируется новое положение инструмента и осуществляется переход к шагу 3.

4. Если в процессе выбора направления смещение в любом из выбранных направлений приводит к проникновению инструмента в поверхность моделируемого объекта, то трассировка положения инструмента прекращается и найденное положение фиксируется, как положение инструмента на данной итерации (точка В).

5. Вычисляется сила обратной связи по формуле:

где

- вектор силы обратной связи, используемой для имитации прикосновения;

k - жесткость объекта;

- вектор, направленный из точки В в точку А;

d - коэффициент демпфирования, используемый для стабилизации системы обратной связи.

Данная формула широко используется в аналогичных задачах тактильного рендеринга, и показала себя достаточной. Однако, в случае необходимости, возможно применение любой другой формулы для вычисления силы обратной связи.

Результат выполнения трассировки представлен на фиг. 2, где:

3. воксельная сетка, пустый воксели;

4. воксели поверхности образа моделируемого инструмента в начале перемещения;

5. воксели поверхности моделируемого объекта;

6. воксели поверхности образа моделируемого инструмента в конце перемещения после фиксации столкновения с поверхностью моделируемого объекта;

7. положение центра образа инструмента в начале движения, соответствующее положению центра образа инструмента в конце предыдущей итерации;

8. точка в виртуальном пространстве, соответствующая положению рукояти устройства тактильного ввода-вывода;

9. положение центра образа в конце перемещения после фиксации столкновения с поверхностью моделируемого объекта;

10. трасса пути перемещения центральной точки образа инструмента, состоящая из векторов смещения на каждом шаге трассировки;

11. вектора смещения центра образа инструмента, рассмотренные на последнем шаге трассировки.

Вычисленное значение силы обратной связи используется для генерации соответствующего импульса со стороны гаптик устройства для имитации тактильного взаимодействия. В случае, если помимо обнаружения столкновений происходит также имитация обработки объекта бормашиной и удаление материала, то расчет силы обратной связи для имитации прикосновения производится по формуле (1) для того положения инструмента, в котором он окажется после завершения имитации удаления.

За счет априорного обнаружения столкновений обеспечивается гарантия невозможности пронзания моделируемого объекта виртуальным инструментом при приложении значительного усилия к устройству ввода. В случае, если сопротивление устройства ввода будет преодолено пользователем, виртуальный инструмент все равно продолжит жестко следовать по поверхности моделируемого объекта.

Применение описанного способа позволяет решить следующие проблемы, обнаруженные в прототипе:

I. Пронзание объекта инструментом невозможно, в отличие от прототипа, где при быстром перемещении инструмента возможно пронзание поверхности объекта, поскольку при обнаружении столкновений не делается никаких предположений о перемещении инструмента, а также поскольку обнаружение столкновений производится априорно и последовательно, т.е. позиции перемещаемого инструмента анализируются в порядке их прохождения из точки отправления в точку назначения, в отличие от обратного способа, описанного в прототипе, где за основу берется конечное положение инструмента, на основе которого с использованием данных о предыдущем положении производится поиск положения инструмента на поверхности моделируемого объекта.

II. Предлагаемый авторами способ не имеет проблем при взаимодействии с отверстиями и углублениями, в отличие от прототипа, у которого возникают проблемы при попытке контакта с отверстиями и углублениями в объекте, поскольку предполагает анализ факта наличия столкновения для всех вокселей, которые представляют поверхность инструмента. Таким образом, независимо от сложности рельефа поверхности объекта и формы инструмента, столкновение гарантированно будет обнаружено. Кроме того, в отличие от прототипа, сложная геометрия моделируемого объекта не сказывается негативно на ощущаемой пользователем жесткости объекта, не возникает вероятности пронзания моделируемого объекта при взаимодействии с углублениями и каналами в нем.

III. При размещении инструмента в узких проходах и отверстиях не возникает вибраций, поскольку не происходит выталкивание инструмента - генерируемая сила обратной связи воздействует только на пользователя, смещение же инструмента невозможно, поскольку ограничено естественным образом. Это достигается благодаря применению априорного обнаружения столкновений: при попытке смещения объекта в направлении стенки канала при априорном обнаружении столкновений сразу фиксируется факт невозможности смещения инструмента, в результате чего виртуальный инструмент остается на месте, а на гаптик устройство подается команда на генерацию силы, достаточной для противодействия давлению, оказываемому пользователем. Даже в случае, если окажется, что сгенерированная сила слишком велика и под ее воздействием инструмент должен был бы сместиться слишком далеко, на следующей итерации применения способа будет сгенерирована новая сила, уравновешивающая сгенерированную ранее.

Как было обозначено ранее, в прототипе вычисление объема материала, удаляемого в области соприкосновения бора с объектом, определяется путем смещения специального образа инструмента от положения инструмента на поверхности объекта в направлении положения, соответствующего позиции устройства ввода, причем смещение прямо пропорционально расстоянию между данными точками. Таким образом, при приложении достаточного усилия, возможно производить нереалистично быстрое удаление материала бором, что негативно сказывается на реалистичности симуляции.

В отличие от прототипа авторы предлагают способ, позволяющий гарантировать отсутствие пронзаний моделируемого объекта, корректную обработку любой геометрии моделируемого объекта без ухудшения качества симуляции и высокую ощущаемую пользователем жесткость моделируемого объекта.

Для вычисления объема удаляемого бором материала авторами предлагается применять разработанную авторами математическую модель, учитывающую скорость вращения бора, его качество, а также геометрию бора и свойства материала моделируемого объекта. Вычисление происходит в дискретной манере, т.е. при расчете объема удаляемого материала используется разбиение пространства на воксели с тем же разрешением, что и при обнаружении столкновений. Это позволяет обеспечить точное сопоставление данных моделирования прикосновений и удаления материала.

Скорость удаления материала зависит от линейной скорости перемещения резца в точке соприкосновения бора с поверхностью объекта. В свою очередь, линейная скорость резца в точке соприкосновения находится в прямой пропорциональной зависимости от радиуса бора в этой точке:

где:

ν - линейная скорость в точке,

- частота вращения,

R - расстояние до оси вращения в точке соприкосновения резца с поверхность объекта.

На фиг. 3 а) схематически изображен сферический бор, на фиг. 3 б) изображен бор в форме усеченного конуса, где 12 - продольный разрез бора моделируемого инструмента. Для обоих вариантов применены одинаковые обозначения:

- О - ось вращения бора

- А - точка на поверхности бора, такая, что расстояние в точке А до оси вращения больше, чем в точке Б;

- Б - точка на поверхности бора;

- В - точка на вершине бора;

С учетом уравнения (2) имеем:

- скорость удаления материала в точке А равна нулю, т.к. линейная скорость данной точки равна нулю, поскольку она лежит на оси вращения;

- скорость удаления материала в точке В больше, чем скорость удаления материала в точке Б, т.к. линейная скорость резца в точке В больше, чем в точке Б, поскольку расстояние до оси вращения в точке В больше, чем в точке Б.

Таким образом, объем удаляемого материала в каждой точке может быть вычислен по формуле:

где:

N - число точек соприкосновения бора с поверхностью моделируемого объекта;

R_i - расстояние до оси вращения бора в точке соприкосновения бора с поверхностью объекта;

γ - коэффициент, определяемый качеством бора;

μ - коэффициент, определяемый свойствами материала, из которого состоит объект.

Кроме формы, важным фактором, влияющим на скорость удаления материала, является качество бора. Выделяют три основных типа боров:

- грубые стальные сферические розеточные боров (steel rosen);

- стальные боры с грубым напылением (gold diamond);

- тонкие алмазные боры (diamond).

Каждый из них характеризуется различной скоростью удаления материала: быстрее всех удаляют материал розеточные боры, в то время, как алмазные боры производят удаление материала крайней медленно.

На фиг. 4, где 13 - поперечный разрез бора, изображены поперечные разрезы двух розеточных боров с различным числом режущих граней: бор а) имеет меньшее число режущих граней, в то время, как бор б) имеет большее число режущих граней. Режущие грани обозначены прямыми Е₁ и Е₂ для обоих боров. Объем материала, удаляемый каждой гранью при совершении одного оборота прямо пропорционален расстоянию между гранями, а значит обратно пропорционален их числу. Как можно видеть, объем V_a, удаляемый каждой гранью бора а), больше, чем объем V_б, удаляемый каждой гранью бора б).

Таким образом, возможно построение уравнения для γ из уравнения (3):

где:

h - высота сегмента в точке касания: для упрощения вычислений бор аппроксимируется при помощи цилиндров, как показано на фиг. 5, где 14 - модельн бора моделируемого инструмента, 15 - цилиндрические сегменты, аппроксимирующие модель бора;

R - радиус бора в точке касания;

N_E - число режущих граней.

Кроме того, предлагаемая авторами математическая модель, в отличие от прототипа, позволяет учитывать качество бора. В рамках модели все боры представляются, как розеточные, с различным числом режущих граней. Из приведенных формул видно, что такое представление допустимо, т.к. отражает картину, наблюдаемую в реальности:

- розеточные боры в модели будут представляться, как розеточные боры с малым числом режущих граней, в результате чего скорость удаления материала ими будет максимальной;

- алмазные боры будут представляться, как розеточные с большим числом режущих граней, в результате чего скорость удаления материала ими будет крайней мала.

Таким образом, с учетом уравнения (4), уравнение (3) примет вид:

Свойства материала, описываемые коэффициентом μ, могут быть определены экспериментально, взяты из известных таблиц свойств материалов, либо данный коэффициент может быть подобран эмпирически.

Имитация удаления происходит на каждой итерации обработки данных с гаптик-устройства после определения положения инструмента в соответствии с описанным ранее алгоритмом.

При имитации удаления материала выполняются следующие шаги:

1. Для каждого вокселя поверхности бора вычисляется максимальный объем материала, который он может удалить, с использованием формулы (5).

2. Производится поиск нового положения бора аналогично поиску нового положения ка каждом шаге трассировки при обнаружении столкновений, на данном шаге возможно проникновение бора в поверхность моделируемого объекта.

3. Для каждого из вокселей, в которых происходит пересечение моделируемого объекта с поверхностью бора, определяется, какой объем материала в нем остался после удаления материала бором. При этом для каждого из вокселей поверхности бора также уменьшается объем материала, который он способен еще удалить.

4. Вновь выполняется попытка смещения бора в соответствии с алгоритмом трассировки.

a. В случае, если бор был смещен, выполняется переход к шагу 2.

b. В случае, если бор не удалось сместить, т.к. в одном из обработанных вокселей остался некоторый объем материала, имитация удаления на текущей итерации завершается.

Вычисленный объем удаляемого материала используется на каждой итерации моделирования удаления материала для обновления состояния объекта, т.е. для изменения формы объекта в соответствии с производимыми пользователем манипуляциями.

Таким образом, общая скорость удаления материала зависит в первую очередь от свойств бора и скорости его вращения. Зависимость от силы давления присутствует, но эта зависимость второстепенна, т.к. даже в случае чрезмерно большого давления скорость удаления материала всегда будет ограничена объемом, определяемым на основе свойств бора. Сила давления лишь определяет, насколько глубоко возможно продвинуться при удалении максимально возможного объема: при незначительном давлении углубление инструмента может остановиться до удаления максимально возможного объема, в то время, как при значительном давлении произойдет удаление максимально возможного объема. Из сказанного следует, что предлагаемый авторами способ решает проблему IV прототипа, который не позволяет учитывать свойства бора с достаточной степенью точности, что приводит к более низкому качеству симуляции и снижению реалистичности.

Расчет тангенциальной силы, возникающей при обработке объекта бормашиной, является важной составляющей симуляции, поскольку отработка практических навыков включает в себя в том числе и привитие умения противодействовать тангенциальной силе. Величина тангенциальной силы может быть достаточно велика, что значительно влияет на технику работы с бормашиной. В рамках прототипа не происходит вычисления тангенциальной силы. Авторами предлагается вычисление тангенциальной силы следующим образом:

где:

N - число точек соприкосновения бора с поверхностью моделируемого объекта;

F_T - величина тангенциальной силы;

F_c - сила резанья для материала, из которого состоит объект; величина данной силы может быть определена на основании соответствующих моделей и формул, изучаемых в рамках науки о сопротивлении материалов;

V_i - объем удаленного материала в точке соприкосновения;

ε - коэффициент, определяющий зависимость силы резанья от объема удаленного материала.

Считается, что в каждой точке тангенциальная сила перпендикулярна оси вращения бора и направлена по касательной к поверхности объекта в этой точке.

Вычисленное значение тангенциальной силы суммируется с силой обратной связи, вычисленной по формуле (1), и полученное значение используется для генерации соответствующего импульса со стороны гаптик устройства для имитации тактильного взаимодействия.

Таким образом, предлагаемый авторами способ не только решает проблемы, имеющиеся в прототипе, такие, как возможность пронзания объекта при приложении большой силы, возникновение вибраций в ряде случаев и возможность излишне быстрого удаления материала при приложении значительного давления, но и привносит моделирование тангенциальной силы, качественно повышая реалистичность симуляции.

Описанный способ был реализован авторами в рамках аппаратно-программного симулятора с тактильной обратной связью.

В качестве устройства тактильного ввода-вывода был использован контроллер NovintFalcon.

Моделируемый объект представлял собой модель черепа человека, полученного из данных компьютерной рентгеновской томографии.

В качестве моделируемого инструмента выступала хирургическая бормашина, используемая при проведении операций в области уха. Были промоделированы сферические боры различного диаметра (2, 3, 4, 5 мм) и различного качества.

Регулирование частоты вращения бора виртуальной бормашины осуществлялось при помощи педали, как это происходит при реальной операции. Использование педали позволяет плавно изменять частоту вращения в диапазоне 5000-20000 об./мин.

По результатам симуляции установлено, что описанный авторами способ позволяет гарантировать отсутствие пронзания моделируемого объекта, корректную обработку сложной геометрии объекта. Жесткость, воспринимаемая пользователем посредством устройства тактильного ввода-вывода, соответствует ожидаемым ощущениям от прикосновения к твердому телу. При сильном нажатии на рукоять гаптика и преодоления силы его сопротивления не зафиксировано пронзание моделируемого объекта виртуальным инструментом.

Имитация обработки моделируемого объекта бормашиной оказалась достаточно реалистичной. Не было зафиксировано излишне быстрого удаления материала - скорость сверления оказалась вполне реалистичной и в целом соответствовала ожиданиям пользователей. Применялся описанный способ моделирования боров различного качества как розеточного бора с большим количеством режущих граней. Испытания показали, что скорость удаления для различных видов боров соответствует реальной в достаточной степени после некоторой настройки числа режущих граней.

Имитация тангенциальной силы, возникающей при прикосновении вращающимся бором к поверхности моделируемого объекта, признана реалистичной и достаточно точно отображающей аналогичную силу, возникающую в реальной жизни.

Изобретение относится к способу симуляции взаимодействия с твердыми телами. Для симуляции взаимодействия с твердыми телами и их обработки бормашиной с имитацией тактильной обратной связи реализуют на ЭВМ обнаружение столкновений между моделируемым инструментом и объектом, представленными в виде непрерывных равных по размеру массивов вокселей, определяют положение инструмента на поверхности объекта, для чего выбирается направление смещения инструмента в желаемую точку, проверяется, что при смещении образа инструмента на один воксель не будет проникновения инструмента в поверхность, фиксируют инструмент, если попытки смещения без проникновения исчерпаны, производят имитацию обработки материала бормашиной, рассчитывают объем материала, который может быть удален каждым вокселем поверхности бора, ищут новую точку для перемещения бора с допущением проникновения, определяют оставшийся объем материала, обновляют визуальное представление моделируемых взаимодействий, вычисляют определенным образом тангенциальную силу и силу обратной связи для генерации импульса со стороны гаптик-устройства для имитации тактильного взаимодействия. Обеспечивается реалистичность симуляции работы инструмента. 5 ил.

Способ симуляции взаимодействий с твердыми телами и их обработки бормашиной с имитацией тактильной обратной связи, реализуемый на ЭВМ, включающий обнаружение столкновений между инструментом и объектом, определение положения инструмента на поверхности объекта, редактирование объекта, представляющее собой имитацию обработки твердого тела бормашиной и вычисление силы обратной связи, используемой для создания тактильных ощущений, возникающих в результате взаимодействия с объектом посредством инструмента, с использованием гаптик-устройства, отличающийся тем, что моделируемый объект и инструмент представляются в виде непрерывных массивов вокселей с одинаковым размером вокселей для массива моделируемого объекта и массива инструмента, после чего автоматически на ЭВМ выполняют обнаружение столкновений и определяют положение инструмента на поверхности моделируемого объекта, для чего автоматически фиксируют начальное положение инструмента, определяемое как положение А центра образа инструмента в конце предыдущей итерации, автоматически фиксируют желаемое положение Б центра инструмента, определяемое как положение контрольной точки гаптик-устройства в виртуальном пространстве, автоматически ищут новое положение центра образа инструмента путем трассировки перемещения инструмента, для чего автоматически выбирают направление смещения на один воксель, которое максимально сократит расстояние между текущим положением инструмента и положением Б, такое, что при смещении не произойдет проникновения инструмента в поверхность моделируемого объекта, после чего автоматически смещают образ инструмента в этом направлении, и автоматически повторяют выбор направлений перемещения и смещение образа инструмента до тех пор, пока не будет достигнуто положение Б, и не будет зафиксировано отсутствие столкновений, либо пока не будет достигнуто такое положение образа инструмента, что не существует направлений, смещение в которых сократит расстояние между центром образа инструмента и положением Б и не приведет к проникновению образа инструмента в поверхность, и не будет автоматически зафиксировано столкновение образа инструмента с поверхностью моделируемого объекта и положение В центра образа инструмента, соответствующее положению инструмента на поверхности моделируемого объекта, после чего в случае если производится имитация обработки моделируемого объекта бормашиной, будет произведено моделирование удаления материала, для чего автоматически рассчитывают объем материала, удаляемого каждым вокселем поверхности образа, соприкасающимся с вокселями, составляющими поверхность моделируемого, для чего автоматически рассчитывают максимальный объем материала, который может удален каждым вокселем поверхности образа бора по формуле:

где V - объем удаляемого материала,

- частота вращения бора,

R - радиус бора в точке касания с поверхностью моделируемого объекта,

h - высота аппроксимационного сегмента в точке касания бора с поверхностью моделируемого объекта,

N_E - число режущих граней,

μ - коэффициент, описывающий свойства материала, автоматически ищут новое положение образа бора аналогично произведенному ранее, начиная в положении В с допущением проникновения бора в поверхность моделируемого объекта, автоматически определяют объем материала, который остался в каждом из затронутых вокселей с уменьшением для каждого из вокселей поверхности бора объема материала, который он еще способен удалить, автоматически выполняют попытку

смещения бора из точки В без допущения проникновения бора в поверхность моделируемого объекта и переходят к поиску нового положения с допущением проникновения, как это было сделано выше, в случае если образ бора был смещен, и прекращают перемещение образа бора, в случае если его не удалось сместить вследствие того, что либо была достигнута точка Б, либо хотя бы в одном из отредактированных вокселей моделируемого объекта остался ненулевой объем материала, автоматически вычисляют величину тангенциальной силы, используемой для имитации тактильных ощущений, возникающих при взаимодействии вращающегося бора с поверхностью объекта, для чего автоматически производят вычисления по формуле:

где N - число точек соприкосновения бора с поверхностью моделируемого объекта,

F_T - величина тангенциальной силы,

F_с - сила резанья для материала, из которого состоит объект,

V_i - объем удаленного материала в точке соприкосновения,

ε - коэффициент, определяющий зависимость силы резанья от объема удаленного материала,

используют результаты выполнения шагов для обновления визуального представления моделируемых взаимодействий, автоматически вычисляют силу обратной связи для имитации прикосновения по формуле:

где - вектор силы обратной связи, используемой для имитации прикосновения,

k - жесткость объекта,

- вектор, направленный из точки положения Б в точку положения В,

d - коэффициент демпфирования,

вычисленные значения сил автоматически суммируются для получения результирующей силы обратной связи, значение которой автоматически отправляется на гаптик-устройство, данные о конечном положении инструмента автоматически сохраняются для использования в следующей итерации.