Пространственно-селективный способ временного цветокодирования поведения животных для решения задачи дешифровки поведенческих последовательностей животных Российский патент 2025 года по МПК G16B40/20 G06V10/80 

1. Область техники, к которой относится изобретение

Изобретение относится к области биологии, экспериментальной фармакологии, нейробиологии, доклиническим исследованиям и информационным технологиям, а именно, к способам и устройствам (в т.ч. актографам и актометрам) для исследования поведенческой активности животных (в том числе двигательной), мелких (лабораторных и отловленных в естественных условиях) животных, а также их групп на промежутках времени произвольной длительности. Вместе с тем, способ может быть использован при характеристике специфики фармакологического эффекта веществ, потенциально обладающих психической активностью, либо влиянием на энергообмен животных – на основе распознавания известных и новых, ранее не выявлявшихся паттернов поведения животных.

Изобретение предназначено для использования в области скрининга новых соединений, углублённого изучения влияния различных факторов на структуру поведенческого отклика на уровне целостных организмов, количественного установления степени аналогичности эффекта нового синтезированного вещества уже известным в аспекте влияния на структурные характеристики поведенческих временных рядов, выявления побочных эффектов у лекарственных препаратов, идентификации психической активности у смесей веществ, в выявлении различий в частоте и динамике появления тех или иных паттернов поведения животных.

Цель изобретения – расширение арсенала средств для детальных актографических исследований, в частности, для регистрации и анализа спонтанной либо индуцированной двигательной активности лабораторных животных в экспериментальных установках не только средствами описания динамики энергозатрат и классического трекинга, но и через создание инструментальной (программной) основы для оперативного и точного выделения и использования для дешифровки поведения как известных, так и новых (ранее не выделявшихся) паттернов поведения и их вариантов, и их последовательностей.

Уровень техники и аналоги

Известно, что и полносвязные, и свёрточные нейронные сети не имеют памяти, обрабатывая каждый входящий экземпляр данных заново, при этом, обрабатывая следующий экземпляр, сеть не "помнит", т.е. не располагает информацией о предыдущем экземпляре данных. При этом, времязависимые процессы, например, поведенческие последовательности животных, для которых дешифровка поведенческого события требует учёта временного контекста (т.е., например, для идентификации поведенческого события нужна информация о нескольких последовательных кадрах видеозаписи, или «временных срезах»), приходится обрабатывать либо специальными нейронными сетями (RNN, рекуррентные нейронные сети), либо передавая полносвязной или свёрточной сети сразу всю последовательность, представляя её как единый экземпляр данных (точку данных в пространстве признаков. [1]) Известен так называемый метод time-colorcoding (эквивалентный русский термин способ временного цветокодирования), применённый в работе [3] для визуализации смещений животных со временем, соответствующий подходу к распознаванию поведенческого события с учётом временного контекста, указанному в работе [2].

Наиболее близкой, принятой за прототип, является работа [3]. Её основными недостатками в контексте проблематики являлось использование общего изображения экспериментальной установки, использование полупрозрачных представлений временных срезов, неочевидное кодирование прошлого и будущего. Кроме того, в работе [3] не рассматривались возможности и преимущества использования цветовременных представлений для обучения свёрточных нейросетей и не обсуждались вопросы временной локализации поведенческих событий.

Очень важно отметить, что временной контекст нужен не только нейронной сети, имеющей задачу дешифровки поведенческого события, но и человеку-эксперту, который создаёт обучающие выборки для таких систем распознавания.

Таким образом, можно сформулировать техническое противоречие: свёрточные нейронные сети просты, обладают высоким быстродействием, эффективно работают с изображениями, подготовка данных интуитивна для пользователя, но они не способны учитывать временной контекст; рекуррентные сети способны учитывать временной контекст, однако относительно громоздки, разметка данных неудобна и неинтуитивна для пользователя (например, неясно, где начинается и кончается в видеопотоке поведенческое событие).

Отметим, что представления, подобные представленным на Фиг. 1, обладают неочевидным свойством – представлять ряд интуитивно воспринимаемых человеком характеристик поведенческого события (таких, как относительная скорость перемещения животного между зафиксированными фазами движения, или определения центра вращения подвижных элементов сцены), на одном двумерном изображении, т.е. сворачивать информацию о временном контексте в одно изображение… доступное для обработки свёрточной сетью, и комфортное для понимания человеком экспертом! С учётом специфики человеческого цветовосприятия и эмпирического опыта работы с такой системой дешифровки можно сформулировать дополнительные требования к решению изобретательской задачи:

1. Временной контекст должен включать как «прошлое», так и «будущее» относительно текущего кадра.

2. Прошлое и будущее должно быть интуитивно различимо для человека-эксперта

3. Шаг времени в общем случае должен быть регулярным и оптимальным для решения задачи распознавания поведенческих событий

4. Различные хронологические моменты не должны перекрываться – из-за перекрытий с эффектом полупрозрачности, как видно на Фиг. 1 (слева), происходит усложнение и зашумление изображения

5. Необходима минимизация объёма лишней информации

6. Необходима оптимизация под конвейер используемой нейронной сети

Распознанный ряд поведенческих событий (в большинстве случаев этограмма) может быть далее обработан посредством анализа частоты встречаемости или специализированных методов анализа последовательностей.

2. Раскрытие изобретения

1. Формула изобретения: (ограничительная часть формулы) предложен 1.Способ дешифровки поведения животного с помощью метода временного цветокодирования, включающий размещение лабораторных животных в регистрирующие камеры, выполнение регистрации видеоданных для каждого животного, отличающийся тем, что выполняют разделение объектов и фона для ряда кадров, определяют центр масс каждого животного для каждого пространственного положения, которое оно занимает, и автоматически генерируют следящее окно за областью вокруг этого центра, определяют положение животного в регистрирующей камере в ряду кадров, осуществляют цветовое RGB-кодирование изображений, и объединяют информацию с ряда кадров, при этом шаг выделения кадров составляет 80 мс, а длительность обобщаемого периода - 640 мс.

2. Способ по п.1, где присвоение тона происходит в соответствии с эффектом Допплера – «будущее» окрашивается цветом с более высокой длиной волны, чем "прошлое", а присвоение яркости происходит в зависимости от расстояния во времени от текущего кадра до кадра в «прошлом» или «будущем», информации из которого необходимо присвоить цветовую метку.

3. Способ по п.2, где на основе коллекции размеченных образцов выполняют обучение модуля искусственного интеллекта для автоматической дешифровки накопленных видеоданных.

4. Способ по п.3, где на основе коллекции размеченных образцов формируется алфавит поведенческих событий, пригодный для построения матрицы переходов между состояниями и анализа структуры получившегося ряда с привлечением математического аппарата цепей Маркова.

Указанные признаки изобретения обеспечивают следующие эффекты

1) Возможность использовать информацию о временном контексте при обучении свёрточных нейронных сетей.

2) Возможность корректного обучения нейросети на основе именно данных о животном и его ближайших окрестностях, обеспечивающего

3) более эффективное использование информации, скрытой в поведении животных, и в частности, содержащейся в исходных данных, за счёт ликвидации шумовой информации.

4) повышение эффективности работы специалиста по дешифровке и интерпретации результатов,

5) приемлемость одних и тех же данных и для свёрточных нейронных сетей, и для людей-экспертов.

6) объективность и высокую достоверность получаемой информации о поведении животных;

7) формирование развивающейся базы данных эталонов, образуемую коллекциями размеченных образцов, и обеспечивающую

8) возможность снижения трудоёмкости благодаря использованию средств машинного обучения (AI, искусственного интеллекта) для автоматизации дешифровки.

9) возможность структурного анализа полученного временного ряда поведенческих событий.

Раскрытие формулы.

Эффект 1 обеспечивается тем, что информация о временном контексте помещается на одно изображение.

Эффекты 2 и 3 возникают благодаря использованию следящего окна и отсечению шумовой информации за его пределами

Эффекты 3 и 4 достигаются с помощью специального программного обеспечения, предоставляющего пользователю данные в комфортном для интерпретации и проверки виде.

Эффекты 4 и 5 обеспечивается интуитивно понятным описанием «прошлого», «настоящего» и «будущего» для человека-эксперта и буквальной применимости тех же данных для обучения свёрточной нейронной сети

Эффект 6 Объективность дешифровки достигается более глубоким пониманием экспертом процесса, происходящего на экране, и переходом от парадигмы «оценка позы на кадре» (pose estimation) к парадигме «поведенческих последовательностей» (behavioural sequence)».

Эффект 7 возникает при итеративном применении обсуждаемого метода на всё более широкой выборке экспериментальных данных, обеспечивая расширение спектра приложений и рост качества дешифровки.

Эффект 8 достигается благодаря передаче задач рутинной классификации на этапе прикладного применения метода.

Эффект 9 становится возможным при построении алфавита с заданной степенью полноты, достаточной для использования аппарата цепей Маркова.

Таким образом, становится возможным точное и оперативное выделение пространственной области интереса, содержащей интересующие исследователя поведенческие события - с что обеспечивает улучшение качества интерпретации поведенческого события и идентификацию соответствующего класса, т.е. определение «паттерна поведения», с последующей автоматизацией дешифровки длительных поведенческих записей.

Техническим результатом заявляемого изобретения является разработка способа автоматизированной дешифровки поведения животных в поведенческих экспериментах, обеспечивающего возможность использовать для дешифровки как уже известные, так и вновь выявляемые поведенческие паттерны, и повысить скорость и качество дешифровки поведения животного в эксперименте.

Указанный технический результат достигается тем, что благодаря сведению информации о временном контексте мы можем более уверенно идентифицировать поведенческое событие на этапе экспертной подготовки обучающих выборок и представить такое событие для обучения классификационной свёрточной нейронной сети, что приводит к ускорению дешифровки и однозначной интерпретации точно определённых во времени поведенческих событий, обуславливающих повышение объёма и качества коллекции размеченных образцов и снижение частоты ошибок дешифровки при применении автоматической дешифровки (т.е. описание потока поведения как последовательности «поведенческих событий») с помощью модуля искусственного интеллекта.

3. Осуществление изобретения

Предложенный способ осуществляется следующим образом. Необработанные видеокадры представляли собой общий вид сверху всего открытого пространства арены со свободно перемещающимся животным внутри. Мы сочли такой способ представления не особо подходящим для анализа, поскольку он содержал большое количество излишней информации. Поэтому мы определили центр масс каждого животного для каждого пространственного положения, которое оно занимало, и автоматически сгенерировали следящее окно за областью вокруг этого центра (область интереса). Область интереса, выделенная в следящем окне, была размером 224x224 пикселя, что соответствует размеру 275x275 мм (Фиг. 2,а) в пространстве установки Открытое поле. Сформированное таким образом окно содержало значительно меньше ненужной информации и использовалось для дальнейшего анализа. Резкое уменьшение количества информации из пространства, в котором не было животного, было важным шагом для успешной идентификации поведенческих паттернов. Полученные кадры были сокращенно названы ПЦИ (полноцветные изображения) (Фиг. 2, b).

Следующее преобразование заключалось в вычитании фона из полученного обрезанного кадра (кадр области интереса). В ходе этой операции изображения заданных фрагментов пустого поля вычитались из кадров, содержащих животное в пределах поля. Разности, полученные в результате такого вычитания, назывались ДСШИ (дифференциальные изображения в серой шкале) (Фиг. 2, c).

ДСШИ обеспечили приемлемую в этом эксперименте степень контраста между животным и окружающим фоном. Благодаря этому эксперты могли лучше рассмотреть мелкие детали позы животного, такие как положение головы, лап, хвоста, текстуру шерсти и т.д. Таким образом, изображения были преобразованы из цветных в изображение со шкалой серого без потери информации, необходимой для декодирования.

Следующим этапом мы дополнили ДСШИ информацией о положении животного в прошлом и будущем на заданном временном интервале. Эта модификация привела к стандартному цветовому RGB-кодированию изображений, необходимому сверточной сети, а также обеспечила представление сложной хронологической информации в одном изображении. В частности, будущее было обозначено синим цветом, а прошлое - красно-оранжевым. Мы сформировали такую таблицу цветов (LUT, LookupTable) по аналогии с интуитивно похожим эффектом Доплера. Такие изображения с временным цветокодированием мы назвали мультивременными изображениями (МВИ) (Фиг. 2, d).

После преобразования видеозаписи в ряд распознанных поведенческих событий выполняется дальнейший анализ поведения животных.

1. Шолле Ф. Глубокое обучение с R и Keras / пер. с англ. В.С. Яценкова. - М.: ДМК Пресс, 2022. - 646 c.: ил.

2. Casarrubea M, Faulisi F, Magnusson MS, Crescimanno G. The effects of morphine on the temporal structure of Wistar rat behavioral response to pain in hot-plate. Psychopharmacology (Berl). 2016 Aug;233(15-16):2891-900. doi: 10.1007/s00213-016-4334-6. Epub 2016 May 27. PMID: 27235015.

3. Makarov, M.; Sysoev, Y.I.; Agafonova, O.; Prikhodko, V.A.; Korkotian, E.; Okovityi, S.V. Color-Coding Method Reveals Enhancement of Stereotypic Locomotion by Phenazepam in Rat Open Field Test. BrainSci. 2023, 13, 408. https://doi.org/10.3390/brainsci13030408

Изобретение относится к биоинформатике. Описан способ дешифровки поведения животного с помощью метода временного цветокодирования, включающий размещение лабораторных животных в регистрирующие камеры, выполнение регистрации видеоданных для каждого животного, отличающийся тем, что выполняют разделение объектов и фона для ряда кадров, определяют центр масс каждого животного для каждого пространственного положения, которое оно занимает, и автоматически генерируют следящее окно за областью вокруг этого центра, определяют положение животного в регистрирующей камере в ряду кадров, осуществляют цветовое RGB-кодирование изображений, и объединяют информацию с ряда кадров, при этом шаг выделения кадров составляет 80 мс, а длительность обобщаемого периода - 640 мс. Накопленные размеченные данные используются для обучения модулей искусственного интеллекта, которые далее применяются для автоматической дешифровки поведения животного. 3 з.п. ф-лы, 2 ил.

1. Способ дешифровки поведения животного с помощью метода временного цветокодирования, включающий размещение лабораторных животных в регистрирующие камеры, выполнение регистрации видеоданных для каждого животного, отличающийся тем, что выполняют разделение объектов и фона для ряда кадров, определяют центр масс каждого животного для каждого пространственного положения, которое оно занимает, и автоматически генерируют следящее окно за областью вокруг этого центра, определяют положение животного в регистрирующей камере в ряду кадров, осуществляют цветовое RGB-кодирование изображений, и объединяют информацию с ряда кадров, при этом шаг выделения кадров составляет 80 мс, а длительность обобщаемого периода - 640 мс.

2. Способ по п.1, где присвоение тона происходит в соответствии с эффектом Допплера – «будущее» окрашивается цветом с более высокой длиной волны, чем "прошлое", а присвоение яркости происходит в зависимости от расстояния во времени от текущего кадра до кадра в «прошлом» или «будущем», информации из которого необходимо присвоить цветовую метку.

3. Способ по п.2, где на основе коллекции размеченных образцов выполняют обучение модуля искусственного интеллекта для автоматической дешифровки накопленных видеоданных.

4. Способ по п.3, где на основе коллекции размеченных образцов формируется алфавит поведенческих событий, пригодный для построения матрицы переходов между состояниями и анализа структуры получившегося ряда с привлечением математического аппарата цепей Маркова.