Способ детектирования и дисперсионного анализа частиц в текучей среде с применением метода искусственного интеллекта Российский патент 2025 года по МПК G01N21/49 G06N3/464 

Область техники

Изобретение относится к области детектирования частиц в текучей среде с последующим анализом их размера и может быть использовано в тех областях науки и техники, где требуется анализ микроструктуры эмульсий, суспензий и золей, например, в нефтехимической, фармацевтической и пищевой промышленностях, медицинских исследованиях и биохимии, метеорологии, а также в системах контроля и защиты окружающей среды.

Уровень техники

Из уровня техники известен способ автоматической оценки размеров частиц с помощью программного обеспечения SOPAT, описанный в работе [1] (MeasurementandCalibrationofDropletSizeDistributionsin Water-in-Oil EmulsionsbyParticle Video Microscopeand a FocusedBeamReflectanceMethod авторов John A. Boxall, Carolyn A. Koh, E. DendySloan, Amadeu K. Sum, and David T. Wu Industrial & Engineering Chemistry Research 2010 49 (3), 1412-1418 https://pubs.acs.org/doi/10.1021/ie901228e).

Недостатком известного из источника [1] решения является то, что в основу метода заложен шаблонный поиск частиц. Пользователю необходимо вручную разметить частицы (от трех до двадцати), которые представляются в качестве контрольных точек для следующего шага автоматического поиска с помощью программного обеспечения. Тем самым пользователь может повлиять на процесс детектирования, так как генерируемый шаблон существенно зависит от выбора отмеченных частиц. Таким образом известное решение имеет низкую точность детектирования.

Из источника [2] (SU 256335 А1, 04.11.1969) известен способ определения содержания воды в нефти, согласно которому облучают исследуемый объект инфракрасным излучением, регистрируют рассеянное ИК-излучение, лежащее в диапазоне оптической прозрачности нефти и, по интенсивности рассеянного излучения судят о количестве воды в нефти.

Недостатком известного из [2] решения является невозможность проведения дисперсионного анализа вследствие отсутствия информации о размерах частиц эмульсии.

Из источника [3] (RU 2775550 С1, 04.07.2022) известен способ определения дисперсности водонефтяной эмульсии, включающий прямую визуализацию изображения, формирующегося при микроскопическом наблюдении с дальнейшей компьютерной обработкой данных и определением дисперсности эмульсии по гистограмме распределения капель воды в объеме нефти.

К недостатку известного из [3] способа относится то, что при его реализации вводится допущение, что проба эмульсии состоит только из воды и нефти, без учета механических примесей и органических отложений.

Однако в случае, когда в эмульсии содержится большое количество твердых микропримесей, неизбежна значительная погрешность измерений.

В качестве наиболее близкого аналога предлагаемого изобретения с точки зрения автоматизации процесса измерений можно принять известный из [4] (RU 2256166 С1, 10.07.2005) способ определения содержания нефти в текучей среде, путем механического диспергирования проб воды и последующего косвенного измерения содержания взвешенных частиц каким-либо фотометрическим методом, при этом механическое диспергирование проб выполняют только на этапе градуировки фотометрического оборудования, в течение которого в замкнутом гидравлическом контуре производят нефелометрические измерения для нескольких различных углов рассеяния, например 30, 60 90, 120, 150, 180°, причем на этом этапе последовательно увеличивают содержание нефти в контуре и для каждого нового значения концентрации производят диспергирование в течение времени, достаточного для максимально возможного изменения дисперсности эмульсии, при этом непрерывно запоминают значения заданной концентрации и текущих интенсивностей светорассеяния для различных углов, которые затем используют для обучения искусственной нейросети, на входные нейроны которой подают значения интенсивно стей светорассеяния для разных углов, а на выходном нейроне получают значение искомой концентрации, затем нефелометрическое оборудование с обученной на нем искусственной нейросетью используют для непрерывного измерения содержания нефти в потоке воды.

К недостаткам известного из [4] решения можно отнести сложную техническую реализацию, а также аналогичный решению [3] недостаток вследствие отсутствия учета микропримесей в эмульсии.

Предлагаемое изобретение направлено на преодоление отмеченных недостатков уровня техники и при своем осуществлении позволяет обеспечить достижение технических результатов, заключающихся в повышении точности измерений, а также в повышении быстродействия при снижении объема требуемых вычислительных ресурсов.

Раскрытие изобретения

Для достижения указанных выше технических результатов предлагается способ дисперсионного анализа частиц в текучей среде, включающий фотофиксацию микроскопом образца текучей среды, последующий анализ изображений с использованием алгоритма предобученной сверточной нейронной сети и формирование гистограммы распределения частиц по их размерам, отличающийся тем, что используют нейронную сеть с бинарными сверточными слоями, в которой для каждого сверточного слоя матрицы входных признаков, соответствующие своему входному каналу, фильтруются посредством покомпонетного умножения на каждый из базовых шаблонов с получением матриц число_входных_каналов×числобазовых_шаблонов, к полученным матрицам покомпонетно применяют сигмоидальную нелинейную функцию, после чего покомпонентно складывают все матрицы с обучаемыми линейными коэффициентами.

В следующем разделе описания представлены подробные сведения в отношении осуществления изобретения, показывающие возможность достижения указанных технических результатов.

Осуществление изобретения

Для более полного понимания сущности в описании даны отсылки на поясняющие фигуры, согласно которым представлены:

Фиг. 1 - Пример изображения глобул воды в нефти, полученное с помощью микроскопа Levenhuk D320L PLUS (разрешение 2048×1536);

Фиг. 2 - Пример изображения глобул нефти в воде, полученное с помощью микроскопа Levenhuk D320L PLUS (разрешение 4096×3288);

Фиг. 3 - Пример изображения 512×512 с разметкой для обучения сверточной нейронной сети;

Фиг. 4 - Пример изображения глобул нефти в воде 512×512 с разметкой для обучения сверточной нейронной сети;

Фиг. 5 - Схема работы методики;

Фиг. 6 - Результат детектирования глобул воды в нефти;

Фиг. 7 - Ограничивающие рамки (Bounding Box) и локализованная частица;

Фиг. 8 - Результат детектирования глобул нефти в воде;

Фиг. 9 - Гистограмма распределения по размерам детектируемых частиц воды в нефти;

Фиг. 10 - Гистограмма распределения по размерам детектируемых частиц нефти в воде;

Фиг.11 - Гистограмма сравнения дисперсионного анализа при ручном методе и при нейросетевом методе;

Фиг. 12 - Нейронная сеть с бинарными сверточными слоями.

В общем виде, сущность предложенного изобретения заключается в том, что в результате детектировании частиц на изображениях, полученных с помощью фотофиксации микроскопом образца текучей среды и последующим его анализом с использованием алгоритма нейронной сети с бинарными сверточными слоями, в конечном итоге получается изображение с идентифицированными частицами и формируется гистограмма распределения по их размерам, а также файл с количественной интерпретацией данной гистограммы для последующего использования в аналитической отчетности.

Более конкретно, но не ограничиваясь этим, предложенный способ может быть осуществлен, например, посредством следующих операций (схема представлена на Фиг. 5):

1 вариант

1. Забор пробы исследуемой текучей среды, содержащей анализируемые частицы.

2. Помещение образца в чашку Петри или предметное стекло.

3. Настройка микроскопа (свет, фокусировка, светофильтры) для получения качественного изображения.

4. Фотографирование образца текучей среды.

5. Перенос полученного изображения на ПК.

6. Запуск программы, реализующей алгоритм детектирования с помощью предобученной нейронной сети.

7. Работа интеллектуального алгоритма детектирования частиц в текучей среде.

8. Вывод и сохранение результатов работы алгоритма:

• изображения с детектированными частицами;

• гистограммы дисперсионного анализа (может быть построена от размера частиц в мкм и/или рх);

• файла Excel с данными частотного распределения.

2 вариант

1. Настройка оборудования для осуществления поточной микроскопии (без отбора проб).

2. Фотографирование образца текучей среды.

3. Перенос полученного изображения на ПК.

4. Запуск программы, реализующей алгоритм детектирования с помощью предобученной нейронной сети.

5. Работа интеллектуального алгоритма детектирования частиц в текучей среде.

6. Вывод и сохранение результатов работы алгоритма:

• изображения с детектированными частицами;

• гистограммы дисперсионного анализа (может быть построена от размера частиц в мкм и/или рх);

• файла Excel с данными частотного распределения.

Следующие два примера реализации показывают возможность использования способа в отношении эмульсий вода в нефти и нефть в воде. Представленные ниже примеры представлены в иллюстративных целях и не служат ограничению охраны изобретения, охарактеризованного признаками формулы. Специалисту будет понятно, что различные модификации изобретения, не упомянутые в явном виде в описании, но проявляющиеся при использовании описанных алгоритмов и методов, должны охватываться признаками формулы изобретения.

Для совершенствования методик обессоливания и обезвоживания нефти и для оценки качества опреснительного оборудования необходимо проводить обнаружение глобул воды и дисперсионный анализ их размерности в пробах нефти.

Для этого проба нефти отбирается для изучения в чашку Петри или предметное стекло, которая устанавливается на предметный столик микроскопа, настраивается светодиодное освещение и фокусировка оптического оборудования микроскопа с дальнейшей фотофиксацией пробы нефти.

Пример одного из изображений представлен на Фиг. 1. Для используемой камеры получена фотография разрешением 2048×1536 и сохранена формате *.jpg.

Затем фотография переносится на персональный компьютер. Далее запускается интеллектуальный алгоритм, который обрабатывает исследуемую фотографию по алгоритму:

Исследуемое изображение разбивается на фрагменты по размерности входного изображения для сверточной нейронной сети Bi-Net на базе архитектуры YOLOv4 бинарными сверточными слоями. Таким образом, изображение с разрешением 2048×1536 делится на 12 фрагментов 512×512.

Далее каждый фрагмент последовательно поступает в предобученную модель Bi-Net. Результат работы интеллектуального алгоритма дает изображение с локализованными глобулами воды в нефти в виде ограничивающих прямоугольников (Bounding Box), внутри которых находится детектируемый объект.

После обработки всех фрагментов исходного изображение происходит их объединение в результирующее изображение, содержащее все найденные частицы (Фиг. 6).

На основании всех размеров ограничивающих рамок обнаруженных частиц на результирующем изображении происходит расчет размеров глобул воды.

Расчет размеров частиц производится следующим образом: из геометрических размеров прямоугольной ограничивающей рамки, в которой находится детектированная частица, определяется ее диаметр по следующей формуле: D=(А+В)/2, где А и В - стороны прямоугольника (Фиг. 7).

А представляет собой ошибку между предсказанной рамкой (красной) и рамкой, определенной при разметке (зеленой).

На основе вычисленных размеров всех детектируемых частиц строится частотная диаграмма (Фиг. 9).

Для совершенствования процесса удаления нежелательных химических веществ в нефти и нефтепродуктах, с помощью опреснительного оборудования важно измерять дисперсность частиц в исследуемых пробах воды.

Для этого проба воды отбирается для последующего изучения в чашку Петри (или предметное стекло).

Далее проба устанавливается на предметный столик микроскопа, настраивается светодиодное освещение и фокусировка оптического оборудования микроскопа с дальнейшей фотофиксацией пробы воды.

Пример одного из изображений представлен на Фиг. 2. Для используемой камеры получена фотография разрешением 4096 × 3288 и сохранена формате *.jpg.

Затем фотография переносится на персональный компьютер. Далее запускается интеллектуальный алгоритм, который обрабатывает исследуемую фотографию по алгоритму:

Исследуемое изображение разбивается на фрагменты по размерности входного изображения для сверточной нейронной сети Bi-Net на базе архитектуры YOLOv4 с бинарными сверточными слоями (512×512, в случае нехватки происходит заполнение дефолтными белыми пикселями). Таким образом, изображение с разрешением 4096×3288 делится на 56 фрагментов.

Разбиение исходного изображения производится с целью улучшения качества работы модели на основе нейронной сети. Согласно проведенным исследованиям, такой подход дает стабильный прирост качества.

Каждый фрагмент последовательно поступает в предобученную модель сверточной нейронной сети Bi-Net на базе архитектуры YOLOv4 с бинарными сверточными слоями. Результат работы интеллектуального алгоритма дает изображение с локализованными глобулами нефти в воде в виде ограничивающих прямоугольников (Bounding Box), внутри которых находится детектируемый объект.

После обработки всех фрагментов исходного изображение происходит их объединение в результирующее изображение, содержащее все найденные частицы (Фиг. 8).

На основании всех размеров ограничивающих рамок обнаруженных частиц на результирующем изображении происходит расчет размеров глобул нефти.

Расчет размеров частиц производится следующим образом: из геометрических размеров прямоугольной ограничивающей рамки, в которой находится детектированная частица, определяется ее диаметр по следующей формуле: D=(А+В)/2, где А и В - стороны прямоугольника (Фиг. 7).

На основе вычисленных размеров всех детектируемых частиц строится частотная диаграмма (Фиг. 10).

Вместе с тем существует проблема наличия в эмульсиях продуктов почвенного происхождения с преобладанием взвеси кварцевой пыли, продуктов коррозии металлов, возникающих, например, в результате транспортировки и хранения нефтепродуктов, а также нерастворимые в нефти частицы органического происхождения. Количество этих загрязнений различно на этих этапах добычи, транспортировки, хранения, поэтому не может быть определено априорно. Наличие таких загрязнений существенно влияет на точность определения дисперсионного состава эмульсий, вследствие чего описанные выше алгоритмы осуществления предложенного способа должны также учитывать необходимость устранения или снижения влияния загрязнений на измерение состава эмульсий.

Один из дополнительных вариантов предложенного изобретения основан на известности эффекта образования двойного электрического слоя вокруг частиц дисперсной фазы одинакового состава, вследствие чего они являются одноименно заряженными (Н.А. Сваровская, Подготовка, транспорт и хранение скважинной продукции, Учебное пособие, Томск, изд-во ТПУ, 2004, с. 129).

Вследствие указанного имеется возможность воздействия на такие одноименно заряженные частицы дисперсной фазы (например, на частицы нефти в воде) приложенным внешним электрическим полем. Под действием электрического поля частицы дисперсной фазы будут испытывать смещение, по существу, вдоль силовых линий напряженности электрического поля, в то время как нейтральные частицы примесей относительно устройства формирования изображений такому смещению подвержены не будут. В результате указанного воздействия обеспечивается группирование частиц дисперсной фазы в одной из областей средства для забора пробы. В качестве неограничивающего примера образец может быть размещен между обкладками заряженного конденсатора, а ограничение (разделение) полученного изображения осуществляется по условной линии, параллельной его обкладкам. Следовательно, после формирования изображения пробы в указанных условиях, появляется возможность исключения части изображения, содержащего существенную долю частиц примесей в целях направления на анализ части изображения, в большей своей части содержащего сгруппированные дисперсные частицы.

Поскольку движение частиц примесей будет осуществляться вдоль силовых линий электрического поля, исключение части изображения с частицами примесей может быть осуществлено путем ограничения исходного изображения линией, перпендикулярной линиям напряженности приложенного внешнего электрического поля. Например, анализу может подлежать лишь половина исходного изображения, однако величина ограничения может быть установлена экспериментально и быть как менее, так и более половины исходного изображения. Таким образом, анализ изображений с преимущественным содержанием частиц дисперсной фазы позволяет повысить точность проводимых измерений в автоматическом режиме. В дополнительном варианте осуществления изобретения могут быть использованы образцы с дисперсными частицами, заряженными принудительно.

В дополнительном иллюстративном примере осуществления изобретения предлагается осуществлять фиксацию образца как можно скорее во избежание старения эмульсии.

Для этого настройка микроскопа (свет, фокусировка, светофильтры) перед получением изображения образца текучей среды осуществляется при добавлении в образец деэмульгатора, предотвращающего старение эмульсии, что позволяет повысить точность измерений в отношении исходного состояния образца текучей среды.

Далее представлен пример процесса обучения сверточной нейронной сети для детектирования частиц.

На первом этапе осуществляют отбор фотоизображений для обучающей выборки. Для анализа исследуемой текучей среды требуется серия изображений, содержащих детектируемые частицы в хорошем качестве (без смазываний, шумов при достаточной освещенности). Количество снимков определяется экспериментальным путем по следующему алгоритму:

(1) Для первоначального обучения сверточной нейронной сети используется все доступные снимки (минимум 5-7 типовых изображений с различными размерами частиц).

(2) Для обучающей выборки производится процесс аугментации (процесс описан ниже).

(3) После обучения нейронной сети осуществляется оценка точности детектирования на тестовой выборке, основные метрики точности:

а) количество детектированных частиц;

б) критерий согласия Колмогорова-Смирнова.

(4) Если полученный уровень точности на указанных метриках ниже заявленного исследователем (на практике от 85%), то необходимо увеличить количество изображений в обучающей выборке и/или добавить дополнительные эффекты в процесс аугментации и повторно выполнить пункты (2)-(3).

Этап разметки фотографий специалистом-технологом.

Разметка осуществляется компетентным специалистом-технологом. Во избежание субъективных оценок разметку должны проводить несколько специалистов (2 и более). В среднем время разметки одним специалистом занимает 6-8 часов. Пример фрагмента изображения с разметкой представлен на Фиг. 3 и Фиг. 4.

Этап аугментации изображений и разбиение выборки на обучающую, валидационную и проверочную.

Изменение внешних факторов в процессе взятия пробы (освещение, светофильтр, возникновение шума на изображении и пр.) учитывается за счет процесса аугментации данных, представляющего собой следующее:

- отражение изображения по вертикальной или горизонтальной оси;

- поворот изображения на произвольный угол;

- растяжение изображения в диапазоне от 1.2 до 2 раз;

- цветовые изменения изображения путем изменения яркости, контрастности и оттенка.

Процессу аугментации подвергается 75% подготовленного набора данных (обучающая и валидационная выборки), 25% данных выступает в качестве проверочной выборки и изменению не подлежит.

Кроме того, в предложенном изобретении также предусматривается модифицированная реализация нейросетевой модели, в которой предлагается использование бинарных сверточных слоев вместо классических (Фиг. 12). Механизм модификации заключается в следующем:

1. Выбирается необходимая модель на основе сверточных слоев и пуллингов.

2. Выбирается набор «базовых шаблонов» b_i, представляющих из себя матрицы размера, совпадающего с размерами ядер свертки в оригинальной нейронной сети, единственными возможными элементами которой являются 0 и 1.

Для каждого сверточного слоя нейронной сети производится замена стандартного прямого прохода через этот слой на следующую операцию: матрицы входных признаков X_j (где каждая матрица отвечает своему входному каналу) фильтруются посредством покомпонентного умножения на каждый из базовых шаблонов. Таким образом мы получаем число_входных_каналов × число_базовых_шаблонов новых матриц. Иначе говоря, получается набор из число_базовых_шаблонов трехмерных тензоров размерности размерность_свертки_1 × размерность_свертки_2 × число_входных_каналов. Каждый из этих трехмерных тензоров сворачивается посредством суммирования вдоль последней оси, вследствие чего получается набор из число_базовых_шаблонов матриц размерности размерность_свертки_1 × размерность_свертки_2. К каждой из этих матриц применяется сигмоидальная нелинейная функция (покомпонентно), после чего все эти матрицы складываются (покомпонентно) с обучаемыми линейными коэффициентами (здесь t - индекс выходного канала, l - индекс свертки, i - индекс базового фильтра, которому соответствует данный коэффициент).

Подготовка такой сверточной нейронной сети для обучения заключается в настройке размера входного изображения для подачи на вход сверточной нейронной сети, загрузки начальных весов, настройки основных параметров архитектуры. Обучение такой сверточной нейронной сети на расширенной обучающей выборке идет до момента, пока ошибка на обучающей и валидационной выборке не достигнут одинаковых значений.

Предложенная система может обеспечить лучшие вычислительные характеристики по сравнению с классическими сверточными нейронными сетями в силу возможности использования моделей с большим числом параметров при меньшем объеме занимаемой памяти.

В иллюстративном практическом варианте осуществления изобретения был использован интеллектуальный алгоритм на основе сверточной нейронной сети Bi-Net на базе архитектуры YOLOv4 с бинарными сверточными слоями, позволяющий детектировать частицы в текучей среде с требуемым для исследователя уровнем точности, который возможно контролировать на этапе обучения сверточной нейронной сети (Фиг. 6 и Фиг. 8). Анализ локализованных частиц был представляется в виде гистограммы распределения по размерам, а также в виде файла Excel с данными дисперсионного анализа (Фиг. 9 и Фиг. 10).

Сравнение качества интеллектуального алгоритма с ручным методом осуществляется путем сравнения по следующим критериям: - количество правильно определенных частиц;

- сравнение гистограмм с помощью критерия согласия Колмогорова-Смирнова.

На Фиг. 11 показана гистограмма сравнения дисперсионного анализа при ручном методе и при интеллектуальном детектировании:

- количество детектированных глобул при ручном способе - 1192, при интеллектуальном детектировании - 1088;

- критерий согласия Колмогорова-Смирнова 87%.

Оценка качества результатов работы интеллектуального алгоритма в сравнении с ручным методом на проверочной выборке позволяет сделать вывод о том, что предложенная модель на основе сверточной нейронной сети может быть верифицирована и принята к использованию при поиске частиц в текучей среде, обладая повышенной точностью измерений, а также повышенным быстродействием при снижении объема требуемых вычислительных ресурсов.

Представленные в описании сведения позволяют специалисту осуществить изобретение посредством указанных средств и методов, а описанные преимущества изобретения проявляются объективно и явным образом не следуют из уровня техники.

Изобретение относится к области детектирования частиц в текучей среде с последующим анализом их размера и может быть использовано в тех областях науки и техники, где требуется анализ микроструктуры эмульсий, суспензий и золей, например, в нефтехимической, фармацевтической и пищевой промышленностях, медицинских исследованиях и биохимии, метеорологии, а также в системах контроля и защиты окружающей среды. Технический результат заключается в повышении точности измерений, а также в повышении быстродействия при снижении объема требуемых вычислительных ресурсов. Способ дисперсионного анализа частиц в текучей среде предусматривает использование нейронной сети с бинарными сверточными слоями, в которой для каждого сверточного слоя матрицы входных признаков, соответствующих своему входному каналу, фильтруются посредством покомпонетного умножения на каждый из базовых шаблонов с получением матриц, к которым покомпонетно применяют сигмоидальную нелинейную функцию, после чего покомпонентно складывают все матрицы с обучаемыми линейными коэффициентами. 12 ил.

Способ дисперсионного анализа частиц в текучей среде, включающий фотофиксацию микроскопом образца текучей среды, последующий анализ изображений с использованием алгоритма предобученной сверточной нейронной сети и формирование гистограммы распределения частиц по их размерам, отличающийся тем, что используют нейронную сеть с бинарными сверточными слоями, в которой для каждого сверточного слоя матрицы входных признаков, соответствующих своему входному каналу, фильтруются посредством покомпонетного умножения на каждый из базовых шаблонов с получением матриц число_входных_каналов^xчисло_базовых_шаблонов, к полученным матрицам покомпонетно применяют сигмоидальную нелинейную функцию, после чего покомпонентно складывают все матрицы с обучаемыми линейными коэффициентами.