Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства Российский патент 2022 года по МПК G16H30/20 G06T7/13 

Изобретение относится к визуализации медицинских изображений и может быть использовано в устройствах обработки изображений снимков компьютерной томографии в формате DICOM. Снимки КТ участвуют в построении трёхмерных виртуальных моделей органов дыхания человека и отображения их на экране.

Далее заявителем представлены термины использованные в заявленном техническом решении для целей исключения неоднозначного толкования, трактования заявленных материалов.

- DICOM (Digital Imaging and COmmunications in Medicine) – формат данных для создания, хранения, передачи и визуализации цифровых медицинских изображений (исследований компьютерной томографии);

- пиксельное изображение – это изображение, представляющее собой матрицу пикселей (цветных точек);

- воксел – это элемент объёмного изображения, содержащий значение элемента растра в трёхмерном пространстве;

- воксельное изображение – это изображение, представляющее собой трёхмерную матрицу, состоящую из вокселов – элементов объёмного изображения, содержащий значение цвета в трёхмерном пространстве;

- трёхмерного изображения – изображение, состоящее из вокселов;

- глубинные нейронные сети – это искусственная нейронная сеть, состоящая из искусственных нейронов, с несколькими слоями между входным и выходным слоями;

- нейронно-сетевая модель – конкретная структура слоёв и связей глубинной нейронной сети;

- нейроморфный процессор – это специализированный класс микропроцессоров и сопроцессоров, используемый для аппаратного ускорения работы искусственных нейронных сетей;

- RGB-модель воксела после предобработки файла DICOM – это аддитивная цветовая модель воксела, которая используется в устройствах, работающих со световыми потоками: сканеры, мониторы, цифровые фотоаппараты, слайд-проектора и т.д.

- тензор вокселов – это трёхмерная матрица вокселов;

- сегментация – это процесс разделения цифрового изображения на несколько участков;

- улучшающего фильтра – метод, повышающий контрастность границ при сегментации.

Устройство создания многомерных виртуальных изображений органов дыхания человека и способ создания объёмных изображений с применением устройства состоит из шины сообщений, входного многоразрядного накопителя объёмных изображений с применением устройства; содержит регистр блоков памяти, контроллер управления формированием пакетов сообщений, адаптер маршрутизации сообщений с регистром пакетов шины сообщений и подключённые к регистру блоков памяти шины сообщения, цифровой сигнальный процессор с первым преобразователем изображений, нейроморфный процессор со вторым преобразователем изображений, программируемую логическую интегральную схему с третьим преобразователем изображений. Входом устройства является вектор параметров отображения. Выходы параметров отображения соединены с регистром блоков памяти шины сообщений и единым выходом. На единый выход подаётся результирующий тензор вокселов.

С ростом производительности доступных вычислительных устройств и устройств воспроизведения изображений открываются новые возможности для создания многомерных изображений. При послойном сканировании лёгких с помощью компьютерной томографии формируется множество двумерных пиксельных и воксельных изображений.

В основе методов создания многомерных изображений компьютерной томографии лёгких лежат методы обработки плоского изображения с помощью глубинных нейронных сетей, которые вычисляют параметры пикселей – яркость и цвет пикселей. На основе параметров пикселей формируют воксели (объёмные пиксели). Послойное отображение пиксельных двумерных изображений в воксельные слои и последующее наложение этих слоев в виртуальной графической среде даёт трёхмерное изображение лёгких. При послойной сегментации изображений на отдельные элементы лёгкого получается многомерное объёмное изображение лёгких, способное отображаться на экране.

Недостатком такого метода оказывается получение результата с невысокой точностью в виде сегментированного на отдельные элементы лёгкого трёхмерного изображения.

Ещё одним недостатком является отсутствие возможности получить отдельные объёмные сегменты лёгких – бронхи, трахею, пораженную лёгочную ткань для дальнейшей индивидуальной визуализации каждого органа. Низкая точность пиксела на 1 мм³ получения результата связана с применением стандартных моделей сегментации для работы с многомерными массивами серии изображений. При получении результатов обработки изображений компьютерной томографии возникают этапы постобработки данных, связанные с поэлементными вычислениями в массивах большой размерности пикселей и вокселов.

Операция восстановления многомерного сигнала с изображением лёгких выполняется методом вычисления яркости и RGB-модели вокселя после предобработки файла DICOM. Формирование результирующих объемных фигур как правило происходит путём послойного наращивания вокселов, которые представляют собой объемные варианты двумерных плоских пикселей с теми же значениями яркости и цвета. Описанный метод преобразования пиксельных массивов в воксельные может реализовывать цифровой сигнальный процессор, который оперирует многомерными матрицами входных значений яркости и цвета пикселей.

Сегментация изображений лёгких строится на основе ресурсоёмких, с точки зрения вычислений, искусственных нейронных сетей и является медленным с точки быстродействия этапом перед построением трёхмерной модели. Как правило, сегментация трёхмерных изображений компьютерной томографии лёгких производится вручную.

Сегментация воксельных слоёв на отдельные изображения частей реализовывает нейроморфный процессор. Алгоритмы отображения, поворота и сечений трехмерного изображения реализуются с помощью реализованных расчётных соотношениях на программируемой логической интегральной схеме.

Из уровня техники известно изобретение по патенту RU 2720070 C1, выявлен метод, относящийся к улучшению точности автоматической сегментации изображений. Изобретение обрабатывает медицинские данные в формате 3D.

1.Сущностью является реализуемый компьютером способ сегментации трёхмерного изображения, причём способ содержит этапы, на которых:

принимают трёхмерное изображение, полученное устройством формирования изображения;

создают первый стек двухмерных изображений из первой плоскости трёхмерного изображения и второй стек двухмерных изображений из второй плоскости трёхмерного изображения;

сегментируют посредством процессора первый стек и второй стек двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и определяют посредством процессора карту меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.

2. Способ, дополнительно содержащий этапы, на которых:

создают третий стек двухмерных изображений из третьей плоскости трёхмерного изображения;

сегментируют третий стек двухмерных изображений с использованием упомянутой по меньшей мере одной нейронно-сетевой модели и

определяют карту меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.

3. Способ по п. 1, в котором в сегментации первого стека двухмерных изображений используется первая нейронно-сетевая модель, а в сегментации второго стека двухмерных изображений используется вторая нейронно-сетевая модель. Способ по п. 1, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.

5. Способ по п. 1, в котором сегментация первого стека и второго стека двухмерных изображения включает в себя этапы, на которых:

создают объединённый стек двухмерных изображений из первого стека и второго стека двухмерных изображений и

сегментируют объединённый стек двухмерных изображений с использованием одной нейронно-сетевой модели.

6. Способ по п. 1, в котором сегментация первого стека и второго стека двухмерных изображений включает в себя этап, на котором определяют множество меток для воксела трёхмерного изображения.

7. Способ по п. 6, в котором агрегирование результатов сегментации включает в себя этап, на котором назначают вокселу метку с наивысшим значением вероятности среди множества меток.

8. Способ по п. 1, в котором упомянутая по меньшей мере одна нейронно-сетевая модель является глубокой сверточной нейронно-сетевой моделью.

9. Способ по п. 1, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.

10. Способ по п. 1, дополнительно включающий в себя этап, на котором обучают по меньшей мере одну нейронно-сетевую модель с использованием по меньшей мере одного трёхмерного обучающего изображения.

11. Устройство для сегментации трёхмерного изображения, причём устройство содержит:

входной интерфейс, который принимает трёхмерное изображение, полученное устройством формирования изображения;

по меньшей мере одно запоминающее устройство, выполненное с возможностью хранения трёхмерного изображения; и

процессор изображений, выполненный с возможностью:

создания первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения;

сегментации первого стека и второго стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и

определения карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.

12. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью:

создания третьего стека двухмерных изображений из третьей плоскости трёхмерного изображения;

сегментации третьего стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и

определения карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.

13. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью сегментации первого стека двухмерных изображений с использованием первой нейронно-сетевой модели и сегментации второго стека двухмерных изображений с использованием второй нейронно-сетевой модели.

14. Устройство по п. 11, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.

15. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью:

создания объединённого стека двухмерных изображений из первого стека и второго стека двухмерных изображений и

сегментации объединённого стека двухмерных изображений с использованием одной нейронно-сетевой модели.

16. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью определения множества меток для воксела трёхмерного изображения.

17. Устройство по п. 16, в котором процессор изображений дополнительно выполнен с возможностью назначения вокселу метки с наивысшим значением вероятности среди множества меток.

18. Устройство по п. 11, в котором упомянутая по меньшей мере одна нейронно-сетевая модель является глубокой нейронно-сетевой моделью.

19. Устройство по п. 11, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.

20. Устройство по п. 11, в котором процессор изображений дополнительно выполнен с возможностью обучения по меньшей мере одной нейронно-сетевой модели с использованием по меньшей мере одного трёхмерного обучающего изображения.

21. Постоянный машиночитаемый носитель, содержащий инструкции, которые при исполнении посредством по меньшей мере одного процессора предписывают по меньшей мере одному процессору выполнять способ сегментации трёхмерного изображения, причём способ содержит:

прием трёхмерного изображения, полученного устройством формирования изображения;

создание первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения;

сегментацию посредством по меньшей мере одного процессора первого стека и второго стека двухмерных изображений с использованием по меньшей мере одной нейронно-сетевой модели и

определение посредством по меньшей мере одного процессора карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека и второго стека.

22. Постоянный машиночитаемый носитель по п. 21, в котором способ дополнительно содержит:

создание третьего стека двухмерных изображений из третьей плоскости трёхмерного изображения;

сегментацию третьего стека двухмерных изображений с использованием упомянутой по меньшей мере одной нейронно-сетевой модели и

определение карты меток для трёхмерного изображения посредством агрегирования результатов сегментации из первого стека, второго стека и третьего стека.

23. Постоянный машиночитаемый носитель по п. 21, в котором в сегментации первого стека двухмерных изображений используется первая нейронно-сетевая модель, а в сегментации второго стека двухмерных изображений используется вторая нейронно-сетевая модель.

24. Постоянный машиночитаемый носитель по п. 21, в котором первая плоскость или вторая плоскость выбраны из осевой плоскости, сагиттальной плоскости и фронтальной плоскости трёхмерного изображения.

25. Постоянный машиночитаемый носитель по п. 21, в котором сегментация первого стека и второго стека двухмерных изображений содержит:

создание объединённого стека двухмерных изображений из первого стека и второго стека двухмерных изображений и

сегментацию объединённого стека двухмерных изображений с использованием одной нейронно-сетевой модели.

26. Постоянный машиночитаемый носитель по п. 21, в котором сегментация первого стека и второго стека двухмерных изображений включает в себя определение множества меток для воксела трёхмерного изображения.

27. Постоянный машиночитаемый носитель по п. 21, в котором агрегирование результатов сегментации включает в себя назначение вокселу метки с наивысшим значением вероятности среди множества меток.

28. Постоянный машиночитаемый носитель по п. 21, в котором по меньшей мере одна нейронно-сетевая модель является глубокой сверточной нейронно-сетевой моделью.

29. Постоянный машиночитаемый носитель по п. 21, в котором трёхмерное изображение является медицинским изображением, указывающим анатомические структуры пациента, при этом карта меток ассоциирует анатомическую структуру с каждым вокселом трёхмерного изображения.

30. Постоянный машиночитаемый носитель по п. 21, в котором способ дополнительно содержит обучение по меньшей мере одной нейронно-сетевой модели с использованием по меньшей мере одного трёхмерного обучающего изображения.

Таким образом, более коротко, известный способ может включать в себя прием трёхмерного изображения, полученного устройством формирования изображения, и создание первого стека двухмерных изображений из первой плоскости трёхмерного изображения и второго стека двухмерных изображений из второй плоскости трёхмерного изображения.

Недостатком данного способа является отсутствие воксельного изображения, которое с более высокой производительностью обрабатывается при вращении и смещении трёхмерного объекта.

Из уровня техники выявлено изобретений по патенту RU 2587427 C2, сущностью является Устройство сегментации медицинских изображений, содержащее: запоминающее устройство (16), в котором хранится медицинское яркостное изображение, подлежащее сегментированию; один или более процессоров (30), запрограммированных с возможностью: применять алгоритм предварительной сегментации к яркостному изображению для оценки границы целевого объема и увеличения упомянутой оцененной границы для гарантии включения упомянутого целевого объема в упомянутую увеличенную оцененную границу; обрабатывать яркостное изображение внутри увеличенной оцененной границы с помощью улучшающего фильтра, основываясь на массиве признаков, чтобы создать улучшенное изображение, в котором целевой объем отличается от соседней ткани, причем улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, причем значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему; запоминающее устройство (34) для хранения улучшенного изображения.

2. Устройство по п. 1, дополнительно включающее в себя: запоминающее устройство (32) улучшающих фильтров для хранения множества улучшающих фильтров, соответствующих каждому из множества потенциальных целевых объемов.

3. Устройство по любому из пп. 1-2, дополнительно включающее в себя по меньшей мере одно из следующего: монитор (52), который отображает улучшенное изображение; систему (54) планирования радиотерапии, которая использует улучшенное изображение для создания плана радиотерапии; устройство (10) формирования изображения и процессор (12) реконструкции, выполняющий обследование пациента и реконструирующий яркостное изображение из данных, созданных устройством формирования изображения.

4. Способ сегментации медицинских изображений, содержащий этапы, на которых:

идентифицируют область яркостного изображения, подлежащую сегментации, причем упомянутое изображение содержит выбранный целевой объем, при этом упомянутая идентификация включает в себя применение алгоритма предварительной сегментации к яркостному изображению для оценки границы упомянутого целевого объема и увеличения упомянутой оцененной границы для гарантии включения упомянутого целевого объема в упомянутую увеличенную оцененную границу; обрабатывают яркостное изображение внутри увеличенной оцененной границы с помощью улучшающего фильтра, основываясь на массиве признаков для дифференциации выбранного целевого объема от соседней ткани, чтобы создать улучшенное изображение, причем улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, причем значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему.

5. Способ по п. 4, дополнительно включающий в себя этап, на котором: выбирают из множества улучшающих фильтров один фильтр, соответствующий выбранному целевому объему.

6. Способ по любому из пп. 4-5, дополнительно включающий в себя по меньшей мере один из этапов, на котором: отображают улучшенное или сегментированное изображение; создают план радиотерапии, исходя из улучшенного или сегментированного изображения; выполняют обследование пациента для создания данных формирования изображения и реконструируют данные формирования изображения в яркостное изображение.

7. Считываемый компьютером носитель данных, содержащий компьютерную программу, управляющую одним или более процессорами для выполнения способа по любому из пп. 4-5.

Таким образом, известный улучшающий фильтр, который основываясь на массив признаков, создаёт улучшенное изображение, которое отличает целевой сегмент от соседней ткани лучше, чем яркостное изображение. Улучшенное изображение является трехмерным изображением, включающим в себя трехмерную матрицу вокселов, значение каждого воксела представляет вероятность, что каждый воксел принадлежит целевому объему; запоминающее устройство хранит улучшенное изображение.

Недостатком является только предварительная обработка изображения, улучшение его качества, сегментация биомедицинских изображений не включает в себя дальнейшую конвертацию в 3D.

Из уровня техники [патент RU 2571523 C2, опубл. 14.02.2011] известен метод подгонки сеточной модели к текущим данным изображения, который содержит математическое приложение противоположных сил к сеточной модели. В частности, метод определяет равновесие между внешней энергией, притягивающей сетку к известным элементам изображения, например краям или границам в изображении, и противодействующей, сохраняющей форму внутренней энергией, которая принуждает модель сохранять свою форму.

Недостатком является работа модели притяжения сил к сеточной модели, которая может захватывать локальный минимум силы и притягиваться к другому, но близкому сегменту. Повоксельная обработка идет на основе вероятностной модели, что не решает проблему точного вычисления объема сегмента.

Из уровня техники [патент US20050207630A1, опубл. 14.02.2003] известен компьютерный метод обнаружения и классификации элементов лёгких в наборе КТ изображения включая контур тела, дыхательные путей, легкое и пищевод. Сегментация определяет регионы КТ изображения для поиска потенциальных новообразований. Компьютер анализирует каждую область лёгкого для обнаружения и идентификации трехмерного дерева сосудов, представляющего кровеносные сосуды в средостении или рядом с ним. Затем компьютер обнаруживает объекты, прикрепленные к поверхности лёгких или к дереву сосуда, чтобы гарантировать, что эти объекты не исключены из рассмотрения как потенциальные конкреции. После этого компьютер выполняет анализ сходства пикселей в соответствующих областях в пределах КТ изображения для обнаружения потенциальных конкреций и выполняет один или несколько методов экспертного анализа, используя особенности потенциальных конкреций, чтобы определить, является ли каждый из потенциальных конкреций или нет новообразованием в ткани лёгких. 

Недостатком является низкая производительность схемы обработки изображения. Большую часть времени обработки приходимся на матричные вычисления, что требует применения дополнительных вычислительных ресурсов, вследствие чего увеличивается время обработки.

Из уровня техники [патент US8577114B2, опубл. 20.02.2012] известно устройство и способ расширения поля зрения среза компьютерной томографии. Итеративное вычисление выполняется на исходном КТ-изображении для получения оценки изображения. Вычисленная оценка восстановленного изображения включает в себя исходный центр изображения и оценку усеченной части за пределами центра изображения. В расчетах используется маска изображения с центром изображения в качестве одной границы.

Недостатком является отсутствие возможности построения воксельного трёхмерного изображения компьютерной томографии лёгких.

Из уровня техники [патент US20150024337A1, опубл. 22.01.2015] известен метод интеграции новой информации, содержащей значения из карт глубины, в существующее трехмерное представление объекта, указанное представление, содержащее поверхность, которая является виртуальным представлением поверхности указанного объекта, указанная поверхность

имеет внутреннюю сторону и внешнюю сторону. Представление в виде функции усеченного расстояния со знаком (TSDF), которая отмечается в отдельных вокселях в сетке вокселов, при этом функция усеченного расстояния со знаком (TSDF) указывает в соответствующих координатах в пределах определенного объема расстояние до следующего вокселя поверхности.

Недостатком является сложность вычисления карты глубины для каждого вокселя, учитывающего карты глубин всех соседних вокселов.

Из уровня техники [патент US10580131B2, опубл. 11.02.2018] известна свёрточная нейронная сеть для сегментации медицинских анатомических изображений. Предоставляется метод для сегментация изображения целевого пациента, содержащее: предоставление целевого 2D-среза и 2D-среза ближайшего соседа трехмерного анатомического изображения и вычисление обученной многосрезовой полностью сверточной нейронной сети (multi-slice FCN), сегментация области, включающая в себя определенный анатомический элемент внутри тела, который простирается в пространстве через целевой 2D-срез и ближайший соседний 2D-срез (-ы), при этом целевой 2D-срез и каждый из ближайших соседних 2D-срезов обрабатываются соответствующим сжимающимся компонентом последовательного сжатия в соответствии с порядком целевого двухмерного среза и ближайшего соседнего двухмерного среза (ов) на основе последовательности двухмерных срезов, извлеченных из трехмерного анатомического изображения, при этом, выходные сигналы последовательных сжимающихся компонентов объединяются и обрабатываются одним расширяющимся компонентом, который выводит сегментация маска для целевого 2D-среза.

Недостатком является низкая производительность метода на стандартных вычислительных средствах.

Сущностью заявленного способа создания объёмных изображений с применением устройства является Устройство создания многомерных виртуальных изображений органов дыхания человека состоящее из регистров блоков памяти шины сообщений (1), отличающиеся тем, что устройство выполнено с возможностью параллельно обрабатывать все входящие сообщения без потерь входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры, третьего преобразователя изображений в многомерный тензор пикселей (8), программируемой логической интегральной схемы (9), выполняющей построение объёмного изображения органов дыхания человека, с возможностью формирования поворота и смещения каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с векторами формы объёмного изображением органов дыхания человека, регистра пакетов шины сообщений (10), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11).

2. Способ реализации заявленного технического решения заключается в том, что используя заявленное устройство осуществляет следующую последовательность действий.

Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM подают в виде параллельно подаваемого потока из изображений DICOM, содержащих полный набор входных изображений х_i на входной многоразрядный накопитель изображений (2), далее из набора изображений x_i^* формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1), далее пакеты сообщений подают ступают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4) и далее их подают поступают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваиваются биты заголовка и окончания, время, размер, уникальный идентификатор далее, после присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записываются там в очередь, реализованную как массив Flash ROM, далее, сообщения, согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор, далее после преобразования в тензор первый преобразователь изображений (4) подают выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6), далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который далее поступает на нейроморфный процессор (7), который в свою очередь сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8), далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который далее поступает на программируемую логическую интегральную схему (9), при этом, действия в элементах № (1) № (4) № (6), № (8), № (11) выполняются параллельно, а программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации, который в свою очередь является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека, при этом, действия в элементах № (2) № (10) № (5), № (7), № (9) выполняются параллельно с получением на выходе многомерных виртуальных изображений органов дыхания человека.

Заявленное устройство создания многомерных виртуальных изображений органов дыхания человека состоит из следующих конструктивных элементов.

1 - регистр блоков памяти шины сообщений (массив Flash ROM)

2 - входной многоразрядный накопитель изображений

3 - контроллер управления формированием пакетов сообщений и отправки в шину сообщений

4 - первый преобразователь изображения в многомерный тензор пикселей

5 - цифровой сигнальный процессор (DSP)

6 - второй преобразователь изображений в многомерный тензор пикселей

7 - нейроморфный процессор (NPU)

8 - третий преобразователь изображений в многомерный тензор пикселей

9 - программируемая логическая интегральная схема (ПЛИС)

10 - регистр пакетов шины сообщений

11 - адаптер маршрутизации сообщений, формирующий ключ маршрутизации.

Способ реализации заявленного технического решения заключается в том, что используя заявленное устройство осуществляет следующую последовательность действий.

Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM подают в виде потока из изображений DICOM, содержащих полный набор входных изображений х_i на входной многоразрядный накопитель изображений (2), далее из набора изображений x_i^* формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1). Пакеты сообщений поступают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4) и далее поступают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваиваются биты заголовка и окончания, время, размер, уникальный идентификатор. После присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записываются там в очередь, реализованную как массив Flash ROM. Сообщения, согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор. После преобразования в тензор первый преобразователь изображений (4) подаёт выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве. Сформированный массив вокселов поступает поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6). Далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который поступает на нейроморфный процессор (7), который сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей. Сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8). Далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который поступает на программируемую логическую интегральную схему (9). Действия в элементах № (1) № (4) № (6), № (8), № (11) выполняются параллельно. Программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека. Действия в элементах № (2) № (10) № (5), № (7), № (9) выполняются параллельно.

Преимуществом заявленного технического решения с использованием заявленного устройства является получение нового результата – многомерного сегментированного виртуального изображения органов дыхания человека, которое создано по двум типам параметров: параметрам, связанных с формой контуров сегментов изображения, и параметрам, связанных со статистической моделью текстуры изображения компьютерной томографии формата DICOM путём сочетания признаков устройства. Процедура перекрёстной проверки воксельных функций обеспечивает нормализацию положения всех тензоров форм для того чтобы компенсировать различия в масштабе, наклоне и смещении, тем самым минимизируя ошибку построения трёхмерной тензорной воксельной формы многомерной модели органов дыхания человека.

Другим преимуществом является высокая точность сегментации объектов в 3D модели лёгких ее многомерных слоёв, достигаемая засчёт использования совокупности признаков заявленного технического решения.

Заявленное техническое решение иллюстрируется следующими материалами.

На Фиг. 1 – представлено схематическое изображение устройства создания многомерных виртуальных изображений органов дыхания человека;

На Фиг. 2 – представлено двумерное яркостное сегментированное с помощью настоящей технологии изображение снимка компьютерной томографии лёгких человека;

На Фиг. 3 – представлено созданные объёмные нормальное и повёрнутое изображения трахеи и бронхов человека.

На Фиг. 4 – представлено созданное многомерное виртуальное изображение лёгких человека;

На Фиг. 5 – представлено повёрнутое в виртуальном пространстве созданное многомерное виртуальное изображение лёгких человека.

На фиг.6 – представлено исходное изображение и автоматически выделенная с помощью устройства маска области бронхов.

На фиг.7 – представлено многомерное виртуальное изображение лёгких первого пациента.

На фиг. 8 – представлено многомерное виртуальное изображение второго пациента.

Далее заявителем представлен пример детальной реализации заявленного технического решения в отношении устройства и способа.

На фиг. 1 представлено устройство создания многомерных виртуальных изображений, которое содержит регистр блоков памяти шины сообщений 1, который строится на микросхемах класса Flash ROM, отличающийся тем, что параллельно обрабатывает сообщения без потерь, в регистр подается вектор сообщений с помощью входа, который также является выходом блока контроллера управления формированием пакетов сообщений 3, построенный на микросхеме класса ATmega, получающим упорядоченный вектор изображений x_i^*, вход которого связан с выходом накопителя изображений 2, построенный на микросхеме памяти класса SRAM, получающего набор входных изображений х_i. К регистру блоков памяти шины сообщений 1 подключены входы первого преобразователя изображений 4, реализованный на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к цифровому сигнальному процессору 5, реализованного на микросхеме класса DSP, выходы которого подключены к шине сообщений 1. К регистру блоков памяти шины сообщений 1 подключены входы второго преобразователя изображений 6, реализованного на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к нейроморфному процессору 7, реализованного на микросхеме класса NPU, выходы которого подключены к шине сообщений 1. К регистру блоков памяти шины сообщений 1 подключены входы третьего преобразователя изображений 8, реализованного на микросхеме параллельного центрального процессорного устройства с фиксированной системой команд, выходы которого подключены к программируемой логической интегральной схеме 9, реализуемой на микросхеме класса CPLD, выходы которого подключены к регистру блоков памяти шины сообщений 1 и к единому выходу, на который подаётся результирующий тензор вокселов y_i. К регистру блоков памяти шины сообщений 1 подключен вход адаптера маршрутизации сообщений 11, реализованный на микросхеме программируемого периферийного адаптера ввода-вывода параллельной информации, выход которого подключен к регистр адресов шины сообщений 10, построенный на микросхеме памяти класса SRAM, и входом, на который подается вектор параметров отображения, выходы подключены к регистру блоков памяти шины сообщений 1, на который подаются сообщения с адресом приёмника и получателя.

На фиг. 2 представлено двумерное яркостное изображение КТ-снимка среза лёгких конкретного человека, с участками тканей лёгких, трахеи и бронхов. Серым цветом показано исходное КТ изображение, цветными сегментами, показан результат автоматической сегментации тканей лёгких, трахеи и бронхов с помощью нейроморфного процессора с предварительной обработкой на цифровом сигнальном процессоре и применением модели глубинной нейронной сети, реализованной как программный модуль. Результатом сегментации является маска, состоящая из вокселов, и являющаяся основой для формирования многомерного изображения лёгких человека.

На фиг. 3 представлено созданное с помощью устройства многомерное виртуальное изображение бронхов и трахей в иммерсивной среде. Представлено нормальное и повёрнутое изображения трахеи и бронхов человека. Построение многомерного изображения из сегментированных областей и поворот на 35° осуществлялся с помощью входной команды на программируемую логическую интегральную схему в составе устройства.

На фиг. 4 представлено созданное с помощью устройства многомерное виртуальное изображение тканей лёгких, бронхов и трахей в иммерсивной среде. В представленном изображении прозрачные участки отображают ткань лёгких в нормальном состоянии. Показаны трахея и бронхи в трёхмерном сегментированном виде как составные участки лёгкого.

На фиг. 5 представлено созданное с помощью устройства многомерное виртуальное изображение тканей лёгких, пораженных участков тканей лёгких, бронхов и трахей и поворот на 70° в лево в иммерсивной среде. Плотными рваными участками показаны области поражения тканей лёгких конкретного человека. Области поражения тканей построены по результату сегментации областей поражения на КТ изображениях нейроморфным процессором устройства. Построение многомерной модели и поворот реализован программируемой логической интегральной схемой в составе устройства. Показанное изображение является результатом применения устройства к набору снимков компьютерной томографии лёгких конкретного человека.

Работа устройства основана на схеме создания многомерных виртуальных изображений методом построения разреженного массива вокселов из полного массива вокселов, применяемого в создании трёхмерных моделей в виртуальной среде с использованием двух типов параметров, реализующих перекрёстную проверку воксельных функций: параметров, связанных с формой сегментов изображений среза лёгких, и параметров, связанных со статистической моделью текстуры – набором точек, определяющих контур сегмента поставленных, на различных итерациях работы нейронной сети и определении линии границы сегмента лёгкого. Данные параметры представлены воксельными функциями – модели примитивов тригонометрических функций. Между двумя типами параметров минимизируется расстояние с помощью расчета и минимизации метрического расстояния. Отличие от известного алгоритма Брезенхэма для двумерного случая заключается в построении линии с помощью направляющего вектора E между двумя ближайшими вокселями на любом расстоянии при этом формируются промежуточные воксели. Сформированный массив вокселов сегментируется с помощью нейронной сети на изображения элементов снимка лёгких нейроморфным процессором. Применение нейроморфного процессора повышает точность сегментации разряженного массива вокселов. При выводе на экран формируется разряженный массив вокселов, который включает только воксели видимой части. Формирование разряженного массива происходит с учетом ракурса отображения. При этом невидимые воксели не участвуют в обработке, что повышает производительность отображения. Для каждого вокселя рассчитывается компилированная матрицей поворота и сдвига M (4× 4). Матрица M выглядит следующим образом

где – вектор параллельного перевода, определяющий смещение от подматрицы порядка 3x3 в точки отсчета;

подматрица размера 3×3 из формулы, 0_1×3 - построчная последовательность, состоящая из нулевых элементов. Применение матрицы M позволяет строить сплошные массивы вокселов между соседними вокселями, но только для видимого ракурса, заданного с помощью входного сообщения q_i, тем самым формируя разряженный массивом вокселов, что увеличивает производительность создания трёхмерных изображений за счет того, что расчёты при отображении ведутся только для видимых в текущий момент на экране вокселов, учитывая заданное положение с помощью входного сообщения q_i, содержащего вектор положения всего объекта матрицей конфигурации с, которая описывает ракурс трёхмерного объекта на экране. Матрица конфигурации с выглядит следующим образом:

где Θ,ϕ,ψ – углы Эйлера, t_x,t_y,t_z – параллельный перенос модели. Итоговый вектор векселей получается разряженный, что снижает вычислительную нагрузку на программируемую логическую интегральную схему, на которой идёт пересчет итогового выходного разряженного массива вокселов, при отображении и повышает быстродействие создания многомерных виртуальных изображений. Предварительно поток из изображений DICOM, содержащий полный набор вокселов поступает на накопитель изображений 2 и формируется в одномерный вектор с присвоением порядкового номера элемента. Формируется пакет сообщения блоком контроллера управления сообщений 3, где пристыковываются биты заголовка и окончания, время, размер и уникальный идентификатор. Регистр блоков памяти шины сообщений 1 принимает сообщения на обработку по принципу запроса получателя, которыми являются первый преобразователь изображений 4, второй преобразователь изображений 6, третий преобразователь изображений 8 и адаптер маршрутизации сообщений 11. Поступая на преобразователи изображений из сообщения выделяется матрица изображений и накладываются данные о цвете формируя тензор. Первый преобразователь изображений 4 подаёт выходной одномерный массив вокселов на цифровой сигнальный процессор, реализуя алгоритм Брезенхэма в трёхмерном пространстве с учётом применения матрицы. Сформированный массив вокселов поступает на второй преобразователь изображений 6, в котором формируется входной вектор двумерной проекции значения которого формируется в массив яркостей двумерных пикселей изображения, подаваемый как выходное итоговое плоское изображение и 0 < m < М-1, а 0 < n<N — 1, является яркостью пикселя (m, n), который подаётся на нейроморфный процессор 7. Нейроморфный процессор 7 осуществляет работу нейронной сети, которая сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов пикселей. Третий преобразователь изображений 8 соединён с регистром блоков памяти шины сообщений 1 через вход, на который поступает сообщение, содержащее матрицу текстур фильтрованного изображения и маску. Преобразователь изображений 8 осуществляет преобразование изображения и маски в тензоры, выполняя проверку воксельных функций, и передает их на выходы, которые связаны со входами программируемой логической интегральной схемой 9. Программируемая логическая интегральная схема 9 реализует превращение тензора вокселов в трёхмерный тензор вокселов и реализует поворот и смещение каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации. Положение лёгких можно установить с помощью матрицы конфигурации.

Адаптер маршрутизации сообщений 11 присваивает адреса отправителя и получателя и записывает их в пакеты пришедшие от блоков 3, 5, 7, а затем передает их на вход регистра пакетов шины сообщений 10, выход которого соединён с регистром блоков памяти шины сообщений 1, и присваивает адреса получателя и отправителя заданным сообщениям.

Описание примеров применения устройства и способа.

Приведены примеры применения устройства создания многомерных виртуальных изображений органов дыхания человека и способа создания объёмных изображений с применением устройства для изображений компьютерной томографии области груди с последующим созданием сегментированного многомерного виртуального изображения.

Пример №1.

На вход устройства подано 406 снимков компьютерной томографии области груди первого пациента. Пациент по предварительному обследованию здоров – лёгкие в норме.

Пример исходного изображения компьютерной томографии нормальных лёгких первого пациента. Цветом показана сформированная устройством маска, отображающая область бронхов.

На фиг.6 показано исходное изображение и автоматически выделенная с помощью устройства маска области бронхов.

При создании многомерного виртуального изображения обработаны все 406 снимков.

Пример №2.

На вход устройства подано 482 снимка компьютерной томографии области груди второго пациента. Пациент по предварительному обследованию имеет поражение лёгочной ткани более 30%.

Пример созданного многомерного виртуального изображения первого пациента без поражения лёгочной ткани.

На основе выделенных сегментов с помощью масок устройство создало многомерное виртуальное изображение лёгких первого пациента, показанного на фиг.7, с видимыми отдельными сегментами лёгочной ткани, трахеи и бронхов, вокселы которых разделены логически по классам: лёгочная ткань, трахея и бронхи, что является новым результатом ранее не достижимым без использования устройства и способа его применения.

– Пример исходного изображения компьютерной томографии нормальных лёгких второго пациента без маски – видны области поражения тканей лёгких.

На фиг.8 показано исходное изображение компьютерной томографии среза лёгких с видимыми участками нормальной лёгочной ткани, бронхов и пораженной лёгочной ткани.

При создании многомерного виртуального изображения обработаны все 482 снимка.

Пример созданного многомерного виртуального изображения второго пациента с созданными многомерными виртуальными изображениями сегментов лёгких, трахеи, бронхов и поражения лёгочной ткани.

На фиг.9 представлено созданное с помощью устройства многомерное виртуальное изображение второго пациента на основе выделенных сегментов лёгочной ткани, трахеи, бронхов и областей поражения лёгких, вокселы которых разделены логически по классам: лёгочная ткань, трахея, бронхи и поражённая лёгочная ткань, что является новым результатом ранее не достижимым без использования устройства и способа его применения.

Изобретение относится к области обработки медицинских изображений. Технический результат заключается в повышении точности медицинского изображения и получении сегментированного виртуального изображения органов дыхания человека. Устройство создания многомерных виртуальных изображений органов дыхания человека, состоящее из регистров блоков памяти шины сообщений (1), характеризует то, что устройство выполнено с наличием входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры. 2 н.п. ф-лы, 9 ил.

1. Устройство создания многомерных виртуальных изображений органов дыхания человека, состоящее из регистров блоков памяти шины сообщений (1), отличающееся тем, что устройство выполнено с наличием входного многоразрядного накопителя изображений (2), контроллера управления формированием пакетов сообщений и отправки в шину сообщений (3), первого преобразователя изображения в многомерный тензор пикселей (4), цифрового сигнального процессора (5), второго преобразователя изображений в многомерный тензор пикселей (6), нейроморфного процессора (7), выполняющего сегментацию изображения на классы частей лёгкого, с возможностью выдачи на выход сформированного сообщения, в составе которого имеется массив изображения лёгких и массив маски сегментации в виде номеров классов вокселов статистической модели текстуры, третьего преобразователя изображений в многомерный тензор пикселей (8), программируемой логической интегральной схемы (9), выполняющей построение объёмного изображения органов дыхания человека, с возможностью формирования поворота и смещения каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации, который является выходом устройства, содержащим сообщение с векторами формы объёмного изображением органов дыхания человека, регистра пакетов шины сообщений (10), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11).

2. Способ создания объёмных изображений с применением устройства, заключающийся в том, что берут последовательность изображений в формате DICOM, подают в виде параллельно подаваемого потока из изображений DICOM, содержащих полный набор входных изображений х_i, на входной многоразрядный накопитель изображений (2), далее из набора изображений x_i^* формируются пакеты в контроллере управления формированием пакетов сообщений и отправки в шину сообщений (3) и подаются в регистр блоков памяти шины сообщений (1), далее пакеты сообщений подают в адаптер маршрутизации сообщений (11), формирующий ключ маршрутизации и адрес первого преобразователя изображений в многомерный тензор пикселей (4), и далее их подают на регистр пакетов шины сообщений (10), в котором пакетам сообщений присваивают биты заголовка и окончания, время, размер, уникальный идентификатор, далее после присвоения пакет отправляется в регистр блоков памяти шины сообщений (1) и записывается там в очередь, реализованную как массив Flash ROM, далее сообщения согласно очерёдности и в соответствии с адресом поступают из регистра блоков памяти шины сообщений (1) на первый преобразователь изображения (4), который обрабатывает очередь сообщений, выполняя низкоуровневую обработку, преобразуя массив пикселей в тензор, далее после преобразования в тензор первый преобразователь изображений (4) подает выходной многомерный тензор пикселей на цифровой сигнальный процессор (5), реализуя алгоритм Брезенхэма в трёхмерном пространстве, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса второго преобразователя изображений (6), далее пакет поступает на второй преобразователь изображений (6), в котором формируется многомерный тензор яркостей двумерных пикселей изображения, который далее поступает на нейроморфный процессор (7), который в свою очередь сегментирует изображения на классы частей лёгкого и выдаёт на выход сформированное сообщение, в составе которого имеется массив вокселов изображения лёгких и массив вокселов маски сегментации в виде номеров классов пикселей, далее сформированный массив вокселов поступает в адаптер маршрутизации сообщений (11) и далее на регистр пакетов шины сообщений (10) с присвоением адреса третьего преобразователя изображений (8), далее пакет поступает на третий преобразователь изображений (8), в котором формируется многомерный тензор вокселов с перекрёстной проверкой воксельных функций набора сегментированных изображений, который далее поступает на программируемую логическую интегральную схему (9), при этом действия в регистре блоков памяти шины сообщений (1) , первого преобразователя изображения в многомерный тензор пикселей (4), второго преобразователя изображения в многомерный тензор пикселей (6), третьего преобразователя изображения в многомерный тензор пикселей (8), адаптера маршрутизации сообщений, формирующего ключ маршрутизации (11), выполняются параллельно, а программируемая логическая интегральная схема (9) реализует превращение тензора вокселов в трёхмерный тензор вокселов методом наслоения и реализует поворот и смещение каждого элемента тензора с помощью сообщения q_i, содержащего данные о требуемом повороте и смещении результирующего тензора вокселов y_i с заданной матрицей конфигурации, который в свою очередь является выходом устройства, содержащим сообщение с объёмным изображением органов дыхания человека, при этом действия в входном многоразрядном накопителе изображений (2), регистре пакетов шины сообщений (10), цифровом сигнальном процессоре (5), нейроморфном процессоре (7), программируемой логической интегральной схеме (9) выполняются параллельно с получением на выходе многомерных виртуальных изображений органов дыхания человека.