ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА РАСПОЗНАВАНИЯ ПСИХОТИПА, НАСТРОЕНИЯ И ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА Российский патент 2025 года по МПК G06F18/00 

Область техники, к которой относится изобретение

Изобретение относится к области оценки состояния человека, в частности, к интеллектуальной системе распознавания психотипа, настроения и эмоционального состояния человека на основе его невербальных сигналов, а также голоса, представленных в видеопотоке.

Уровень техники

Известна система распознавания эмоций лица на основе глубокого обучения для работников по безопасному уходу за детьми (см. публикацию IN202111002128, опубл. 29.01.2021). Система содержит модуль обнаружения эмоций и доставки контента для идентификации по меньшей мере одного типа эмоций, связанного по меньшей мере с одной обнаруженной характеристикой эмоции, модуль мониторинга детей, помогающий родителям контролировать своих детей, и модуль, который включает в себя, но не ограничивается ими: родительский блок, который предпочтительно представляет собой ремешок с корпусом, напоминающим часы; микропроцессором, беспроводным приемопередатчиком, сигнализацией, вибромотором, динамиком, микрофоном и многоэкранным дисплеем, и дочерний блок, которые включает в себя микропроцессор, приемопередатчик, камеру, динамик, микрофон и чип GPS, которые соединены таким образом, что родительский блок может отображать местоположение дочернего блока, определенное чипом GPS.

Однако в известном решении эмоциональное состояние человека определяется только с использованием данных о распознавании эмоций лица, более того, требуются значительные вычислительные мощности для работы предложенной системы, а набор обнаруживаемых эмоций является сильно ограниченным.

Также известна система оценки психологического состояния человека (см. публикацию WO/2021/182982, опубл. 16.09.2021). Система позволяет осуществить способ психологического мониторинга человека, содержащий этапы, на которых: захватывают видеоизображение; выделяют и распознают лица в видеопотоке; определяют эмоции человека и их интенсивность; анализируют указанные определяемые эмоции человека и их интенсивность на протяжении предварительно заданного периода времени для определения его психоэмоционального состояния.

Однако в известном решении эмоциональное состояние человека также определяется только с использованием данных о распознавании эмоций лица, более того, требуются значительные вычислительные мощности для работы предложенной системы, а набор обнаруживаемых эмоций является сильно ограниченным.

Раскрытие изобретения

Настоящее изобретение направлено на решение по меньшей мере некоторых из приведенных выше проблем.

В настоящем изобретении предложена интеллектуальная система распознавания психотипа, настроения и эмоционального состояния человека, включающая в себя:

блок захвата изображений, выполненный с возможностью захвата видеоизображений;

блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке;

блок распознавания поз и жестов, выполненный с возможностью выделения и распознавания туловища и конечностей человека в видеопотоке;

блок захвата звукового потока, выполненный с возможностью захвата звукового потока;

блок распознавания голоса, выполненный с возможностью выделения голоса человека в захваченном звуковом потоке и определения его характеристик;

блок определения эмоций, выполненный с возможностью определения эмоций человека и их изменения на основании захваченного видеопотока и звукового потока;

блок анализа, выполненный с возможностью анализа указанных определяемых эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека, и их изменения в течение времени.

В одном из вариантов предложена система, в которой блок распознавания лиц выполнен с возможностью распознавания лиц посредством сопоставления выделенных в видеопотоке лиц с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу дескрипторов лиц (БДЛ), а блок распознавания лиц выполнен с возможностью преобразования изображений лица человека для их представления в виде числовых дескрипторов лиц и сравнения указанных числовых дескрипторов лиц с сохраненными в БДЛ дескрипторами.

В одном из вариантов предложена система, в которой блок распознавания поз и жестов выполнен с возможностью распознавания поз и жестов посредством сопоставления выделенных в видеопотоке поз и жестов с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу дескрипторов поз и жестов (БДПЖ), а блок распознавания поз и жестов выполнен с возможностью преобразования изображений туловища и конечностей человека для их представления в виде числовых дескрипторов поз и жестов и сравнения указанных числовых дескрипторов поз и жестов с сохраненными в БДПЖ дескрипторами.

В одном из вариантов предложена система, дополнительно содержащая блок формирования рекомендаций, выполненный с возможностью приема данных из блока анализа и формирования рекомендаций на основании психотипа, настроения и эмоционального состояния наблюдаемого человека.

В одном из вариантов предложена система, дополнительно содержащая блок формирования отчетности, выполненный с возможностью приема данных из блока анализа и формирования отчетности о психотипе, настроении и эмоциональном состоянии наблюдаемого человека, динамике их изменения и причинах таких изменений за определенные интервалы времени.

В одном из вариантов предложена система, в которой блок распознавания голоса выполнен с возможностью определения таких характеристик голоса как тембр, интонация и громкость.

В одном из вариантов предложена система, в которой по меньшей мере один из блока распознавания лиц, блока распознавания поз и жестов, блока распознавания голоса, блока определения эмоций и блока анализа реализован на основе самообучающейся искусственной нейронной сети или сверточной нейронной сети.

В одном из вариантов предложена система, в которой все из указанных блока распознавания лиц, блока распознавания поз и жестов, блока распознавания голоса, блока определения эмоций и блока анализа реализованы на основе нейронных сетей.

Основной задачей, решаемой заявленным изобретением, является создание системы, которая будет оценивать не только семь эмоциональных состояний (нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление), но также изучать и анализировать позы, жесты, движения. Обрабатывать данные в режиме реального времени и выдавать рекомендации по ходу диалога, занятия. Данные можно будет получать в нескольких временных интервалах: в реальном времени, заданный период.

Сущность изобретения заключается в том, что предложенная интеллектуальная система обеспечивает возможность распознавания психотипа, настроения и эмоционального состояния человека на основе его невербальных сигналов, а также голоса, представленных в видеопотоке, с обработкой результатов и выдачей рекомендаций в режиме реального времени.

Технический результат, достигаемый решением, заключается в возможности более точного и достоверного определения психотипа, настроения и эмоционального состояния человека в режиме реального времени. Указанный технический результат обеспечивается благодаря тому, что предложенная интеллектуальная система распознавания психотипа, настроения и эмоционального состояния человека, включает в себя:

блок захвата изображений, выполненный с возможностью захвата видеоизображений;

блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке;

блок распознавания поз и жестов, выполненный с возможностью выделения и распознавания туловища и конечностей человека в видеопотоке;

блок захвата звукового потока, выполненный с возможностью захвата звукового потока;

блок распознавания голоса, выполненный с возможностью выделения голоса человека в захваченном звуковом потоке и определения его характеристик;

блок определения эмоций, выполненный с возможностью определения эмоций человека и их изменения на основании захваченного видеопотока и звукового потока;

блок анализа, выполненный с возможностью анализа указанных определяемых эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека, и их изменения в течение времени.

Таким образом, предложенная система позволяет определять в режиме реального времени состояние человека и относить его к одному из семи эмоциональных состояний (нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление), а реализация такой системы не требует использования больших вычислительных мощностей.

Краткое описание чертежей

Фиг. 1 - функциональная схема системы по настоящему изобретению в общем виде;

Фиг. 2 - блок-схема этапов осуществления способа распознавания посредством системы по настоящему изобретению;

Фиг. 3 - возможный вариант реализации системы по настоящему изобретению (окно ученика).

Фиг. 4 - возможный вариант реализации системы по настоящему изобретению (окно педагога).

Фиг. 5 - возможный вариант реализации системы по настоящему изобретению (окно педагога с рекомендациями).

Осуществление изобретения

Существующие программы определения эмоций человека работают следующим образом. Разработчики выбирают семь эмоциональных состояний, которые имеют значение при взаимодействии с любым человеком: нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление. Нейросеть обучают распознавать эмоции, анализируя микромимику, изменения определенного количества точек на лице (дескрипторов лица). Точность данных при таком подходе составляет до 72%.

Задачей настоящего изобретения является создание системы, которая будет оценивать не только семь эмоциональных состояний (нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление), но также изучать и анализировать позы, жесты, движения. Обрабатывать данные в режиме реального времени и выдавать рекомендации по ходу диалога, занятия. Данные можно будет получать в нескольких временных интервалах: в реальном времени, заданный период времени.

Как показали исследования нейробиолога Лизы Фельдман Барретт, при распознавании эмоций человек активно использует контекстную информацию: голос, действия, ситуацию. Используя только область лица, правильное предсказание сделать невозможно. В связи с этим для решения этой задачи необходимо использовать как дополнительные модальности, так и информацию об изменении сигналов с течением времени.

Главной задачей настоящего изобретения является обработка информации о собеседнике через его движения, позы, внешний вид, мимику и жесты, голос, тембр, интонации и громкость для вычисления конечного, понятного пользователю, результата, а также обработка результата, формирование отчета о результатах и рекомендаций для собеседника. Система должна распознавать лица вне зависимости от степени освещенности помещения и размытости изображения.

Разработка подразумевает создание глубинной нейронной сети. На вход при решении рассматриваемой задачи подается разбитое на группы 2×2, 3×3, 5×5 или 11×11 пикселей изображение, которое попадает в сеть слоев, составляющих набор признаков.

На Фиг. 1 показана функциональная схема системы по настоящему изобретению в общем виде. Интеллектуальная система распознавания психотипа, настроения и эмоционального состояния человека, включает в себя:

блок 101 захвата изображений, выполненный с возможностью захвата видеоизображений;

блок 102 распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке;

блок 104 распознавания поз и жестов, выполненный с возможностью выделения и распознавания туловища и конечностей человека в видеопотоке;

блок 106 захвата звукового потока, выполненный с возможностью захвата звукового потока;

блок 107 распознавания голоса, выполненный с возможностью выделения голоса человека в захваченном звуковом потоке и определения его характеристик;

блок 108 определения эмоций, выполненный с возможностью определения эмоций человека и их изменения на основании захваченного видеопотока и звукового потока;

блок 110 анализа, выполненный с возможностью анализа указанных определяемых эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека, и их изменения в течение времени.

В одном из вариантов предложена система, в которой блок 102 распознавания лиц выполнен с возможностью распознавания лиц посредством сопоставления выделенных в видеопотоке лиц с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу 103 дескрипторов лиц (БДЛ), а блок 102 распознавания лиц выполнен с возможностью преобразования изображений лица человека для их представления в виде числовых дескрипторов лиц и сравнения указанных числовых дескрипторов лиц с сохраненными в БДЛ 103 дескрипторами.

В одном из вариантов предложена система, в которой блок 104 распознавания поз и жестов выполнен с возможностью распознавания поз и жестов посредством сопоставления выделенных в видеопотоке поз и жестов с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу 105 дескрипторов поз и жестов (БДПЖ), а блок 104 распознавания поз и жестов выполнен с возможностью преобразования изображений туловища и конечностей человека для их представления в виде числовых дескрипторов поз и жестов и сравнения указанных числовых дескрипторов поз и жестов с сохраненными в БДПЖ 105 дескрипторами.

В одном из вариантов предложена система, дополнительно содержащая блок 111 формирования рекомендаций, выполненный с возможностью приема данных из блока 110 анализа и формирования рекомендаций на основании психотипа, настроения и эмоционального состояния наблюдаемого человека.

В одном из вариантов предложена система, дополнительно содержащая блок 112 формирования отчетности, выполненный с возможностью приема данных из блока 110 анализа и формирования отчетности о психотипе, настроении и эмоциональном состоянии наблюдаемого человека, динамике их изменения и причинах таких изменений за определенные интервалы времени.

В одном из вариантов предложена система, в которой блок 107 распознавания голоса выполнен с возможностью определения таких характеристик голоса как тембр, интонация и громкость.

В одном из вариантов предложена система, в которой по меньшей мере один из блока 102 распознавания лиц, блока 104 распознавания поз и жестов, блока 107 распознавания голоса, блока 108 определения эмоций и блока 110 анализа реализован на основе самообучающейся искусственной нейронной сети или сверточной нейронной сети.

В одном из вариантов предложена система, в которой все из указанных блока 102 распознавания лиц, блока 104 распознавания поз и жестов, блока 107 распознавания голоса, блока 108 определения эмоций и блока 110 анализа реализованы на основе нейронных сетей.

На Фиг. 2 показана блок-схема этапов осуществления возможного способа распознавания психотипа, настроения и эмоционального состояния наблюдаемого человека посредством системы по настоящему изобретению. Такой способ включает в себя этапы:

201: захват и обработка изображений, и формирование сведений для базы данных скриншотов для последующей обработки;

202: выделений лиц на изображениях;

203: распознавание лиц, с использованием сведений из базы данных эталонов лиц, также упоминаемой как БДЛ 103;

204: выделений туловища и конечностей на изображениях, при необходимости дополнительно могут использоваться сведения о распознанных лицах, полученные на этапе 203, это повысит конечный результат в определении состояния человека;

205: распознавание поз и жестов, с использованием сведений из базы данных эталонов поз и жестов, также упоминаемой как БДПЖ 105;

206: параллельно с захватом и обработкой изображений осуществляют захват звукового потока;

207: выделяют голос человека в захваченном звуковом потоке и определяют его характеристики, такими характеристиками могут быть тембр, интонация и громкость, которые описываются соответствующими амплитудными и/или частотными характеристиками звукового сигнала, соответствующего выделенному голосу человека;

208: определяют эмоции человека и их изменения на основании захваченного видеопотока и звукового потока, при необходимости сопоставляют информацию об определенных эмоциях с базой данных эмоций, корректируют и дополняют указанную базу данных эмоций;

209: анализируют указанные определяемые эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека, и их изменения в течение времени, с заданной периодичностью или при активировании соответствующего функционала пользователем системы;

210: на основе проведенного анализа состояния и определяемых эмоций, психотипа и состояния человека формируют рекомендации для собеседника, содержащие как результаты полученного анализа, так и возможные корректировки в манере ведения диалога;

211: сформированные рекомендации выдают (предоставляют для обозрения) собеседнику человека, чье эмоциональное состояние оценивалось;

212: полученные результаты анализа и сформированные рекомендацию сохраняют, например, формируя и дополняя базу данных отчетов.

Предложенная система может быть реализована в виде традиционного мобильного или компьютерного или браузерного приложения для видеосвязи. На Фиг. 3-5 показан примерный возможный вариант реализации системы по настоящему изобретению в виде такого приложения для видеосвязи.

На Фиг. 3 показан примерный внешний вид интерфейса пользователя, например, для ученика, чье состояние подлежит распознаванию. Главное окно 300 содержит окно 301 с видеоизображением (в этом примере ученик видит видеоизображение педагога), рабочее окно 302 для отображения учебных материалов и/или выполнения заданий, функциональное окно 303 для отображения дополнительных сведений, например, но не в качестве ограничения, сведений о скорости и качестве соединении, сведений об учебной платформе, учебной дисциплине, изучаемой теме и пр., текущих дате и времени.

На Фиг. 4 показан примерный внешний вид интерфейса пользователя, например, для педагога, который использует информацию о состоянии ученика. Главное окно 400 содержит окно 401 с видеоизображением (в этом примере педагог видит видеоизображение ученика), рабочее окно 402 для отображения учебных материалов и/или выполнения заданий, функциональное окно 403 для отображения дополнительных сведений, например, но не в качестве ограничения, сведений о скорости и качестве соединении, сведений об учебной платформе, учебной дисциплине, изучаемой теме и пр., текущих дате и времени.

На Фиг. 5 показан примерный внешний вид интерфейса пользователя, например, для педагога, который использует информацию о состоянии ученика, в режиме распознавания состояния ученика. Как показано на Фиг. 5, функциональное окно 403 может быть разделено на две области: область 406 может использоваться для предоставления сведений о состоянии ученика в виде пиктограммы или другой краткой буквенно-символьной записи, причем состояние ученика определяют в результате осуществления способа, показанного на Фиг. 2; область 405 может использоваться для отображения рекомендаций и/или сведений об изменении состояния ученика в течение времени, причем состояние ученика определяют и рекомендации формируют в результате осуществления способа, показанного на Фиг. 2.

Дополнительно на Фиг. 5 в окне 404 с видеоизображением показан пример технического изображения, которое по запросу может выводиться вместо или вместе с основным изображением человека в окне 401. Особенно полезен такой функционал в режиме обучения нейросети и верификации результатов распознавания лица, позы и жестов ученика, определения дескрипторов лица, позы и жестов, которые показаны точками и линиями на Фиг. 5.

Следует понимать, что хотя и приведен пример для видеосвязи между учеником и педагогом, аналогичный функционал может быть реализован и в других применениях, как будет подробнее описано ниже.

Благодаря созданию изобретения можно улучшить качество дистанционного и онлайн-обучения, путем внедрения в видеоконференцию программного кода, который при исполнении осуществляет распознавание эмоций обучающегося, определяет его психотип, генерирует подсказки педагогу по настроению обучающегося и вовлеченности в процесс занятия, что предоставляет возможность педагогу скорректировать процесс занятия для достижения максимального результата.

Благодаря созданию изобретения достигается технический результат, состоящий в возможности более точного и достоверного определения психотипа, настроения и эмоционального состояния человека в режиме реального времени. Точность результатов при таком подходе составляет более 73%. Предложенная система позволяет определять состояние человека и относить его к одному из семи эмоциональных состояний (нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление), что существенно превышает возможности известных из уровня техники систем, а реализация такой системы, напротив, требует использования меньших вычислительных мощностей благодаря своему алгоритму работы.

В предложенном изобретении осуществляют обработку информации о собеседнике через его движения, позы, внешний вид, мимику и жесты, голос, тембр, интонации и громкость для вычисления конечного, понятного пользователю, результата, а также обработку результата, формирование отчета о результатах и рекомендаций для собеседника. Система распознает лица вне зависимости от степени освещенности помещения и размытости изображения.

Предложенная система характеризуется следующим набором возможностей:

- определение состояния выгорания;

- определение психологического равновесия и душевного баланса;

- определение эмоциональных психотипов;

- определение настроения;

- определение вовлеченности, заинтересованности;

- определение интереса к теме;

- определение обмана;

- обратная связь и рекомендации по изменению диалога, занятия.

Предложенная система может быть полезна в следующих сферах применениях видеосвязи:

- HR и найм персонала / формирование проектной команды;

- Организация и проведение онлайн-совещаний / отчетных мероприятий;

- Обучение детей и взрослых;

- Онлайн-платформы, CRM системы, использующие видеосвязь;

- Судебные заседания;

- Журналистика - при интервьюировании онлайн;

- На бытовом уровне - при удаленном общении с родственниками (родители / дети);

- Прочие специалисты, проводящие консультации онлайн, например, медицинские, юридические, финансовые и прочие консультации онлайн.

Варианты осуществления не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, указанные в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия указанных элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Способы, раскрытые здесь, содержат один или несколько этапов или действий для достижения описанного способа. Этапы и/или действия способа могут заменять друг друга, не выходя за пределы объема формулы изобретения. Другими словами, если не определен конкретный порядок этапов или действий, порядок и/или использование конкретных этапов и/или действий может изменяться, не выходя за пределы объема формулы изобретения.

В заявке не указано конкретное программное и аппаратное обеспечение для реализации блоков на чертежах, но специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства известные в уровне техники. Так аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, указанные в различных зависимых пунктах формулы, а также реализации, раскрытые в различных частях описания могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.

Изобретение относится к области оценки состояния человека, в частности к интеллектуальной системе распознавания психотипа, настроения и эмоционального состояния человека на основе его невербальных сигналов, а также голоса, представленных в видеопотоке. Предложена интеллектуальная система распознавания психотипа, настроения и эмоционального состояния человека, включающая в себя: блок захвата изображений, выполненный с возможностью захвата видеоизображений; блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке; блок распознавания поз и жестов, выполненный с возможностью выделения и распознавания туловища и конечностей человека в видеопотоке; блок захвата звукового потока, выполненный с возможностью захвата звукового потока; блок распознавания голоса, выполненный с возможностью выделения голоса человека в захваченном звуковом потоке и определения его характеристик; блок определения эмоций, выполненный с возможностью определения эмоций человека и их изменения на основании захваченного видеопотока и звукового потока; блок анализа, выполненный с возможностью анализа указанных определяемых эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека, и их изменения в течение времени. Предложенная система позволяет в режиме реального времени определять состояние человека и относить его к одному из семи психотипов, а реализация такой системы не требует использования больших вычислительных мощностей. 4 з.п. ф-лы, 5 ил.

1. Интеллектуальная система распознавания психотипа, настроения и эмоционального состояния человека, включающая в себя:

блок захвата изображений, выполненный с возможностью захвата видеоизображений;

блок распознавания лиц, выполненный с возможностью выделения и распознавания лиц в видеопотоке;

блок распознавания поз и жестов, выполненный с возможностью выделения и распознавания туловища и конечностей человека в видеопотоке;

блок захвата звукового потока, выполненный с возможностью захвата звукового потока;

блок распознавания голоса, выполненный с возможностью выделения голоса человека в захваченном звуковом потоке и определения его характеристик;

блок определения эмоций, выполненный с возможностью определения эмоций человека и их изменения на основании захваченного видеопотока и звукового потока;

блок анализа, выполненный с возможностью анализа указанных определяемых эмоций человека в реальном времени для определения психотипа, настроения и эмоционального состояния человека и их изменения в течение времени, при этом

система содержит блок формирования рекомендаций, выполненный с возможностью приема данных из блока анализа и формирования рекомендаций на основании психотипа, настроения и эмоционального состояния наблюдаемого человека, содержащих по меньшей мере результаты полученного анализа и/или возможные корректировки в манере ведения диалога;

причем система выполнена с возможностью отображения на интерфейсе пользователя по меньшей мере одной области, предназначенной для предоставления сведений о состоянии собеседника и/или для отображения рекомендаций и/или сведений об изменении состояния собеседника в течение времени,

при этом все из указанных блока распознавания лиц, блока распознавания поз и жестов, блока распознавания голоса, блока определения эмоций и блока анализа реализованы на основе нейронных сетей.

2. Система по п. 1, в которой блок распознавания лиц выполнен с возможностью распознавания лиц посредством сопоставления выделенных в видеопотоке лиц с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу дескрипторов лиц (БДЛ), а блок распознавания лиц выполнен с возможностью преобразования изображений лица человека для их представления в виде числовых дескрипторов лиц и сравнения указанных числовых дескрипторов лиц с сохраненными в БДЛ дескрипторами.

3. Система по п. 1, в которой блок распознавания поз и жестов выполнен с возможностью распознавания поз и жестов посредством сопоставления выделенных в видеопотоке поз и жестов с эталонными изображениями, загруженными в базу данных, причем указанная база данных представляет собой базу дескрипторов поз и жестов (БДПЖ), а блок распознавания поз и жестов выполнен с возможностью преобразования изображений туловища и конечностей человека для их представления в виде числовых дескрипторов поз и жестов и сравнения указанных числовых дескрипторов поз и жестов с сохраненными в БДПЖ дескрипторами.

4. Система по п. 1, дополнительно содержащая блок формирования отчетности, выполненный с возможностью приема данных из блока анализа и формирования отчетности о психотипе, настроении и эмоциональном состоянии наблюдаемого человека, динамике их изменения и причинах таких изменений за определенные интервалы времени.

5. Система по п. 1, в которой блок распознавания голоса выполнен с возможностью определения таких характеристик голоса, как тембр, интонация и громкость.