ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ОБУЧАЮЩЕЙ СИСТЕМЫ С АВТОМАТИЧЕСКОЙ ОЦЕНКОЙ ЭМОЦИЙ ОБУЧАЕМОГО Российский патент 2021 года по МПК G06F17/00 

Изобретение предназначено для контроля и управления процессом индивидуального или группового обучения детей с ограниченными возможностями здоровья, школьников или студентов с контролем эмоционального состояния обучаемых и оценкой результатов обучения.

Известны программно-аппаратные комплексы, широко применяемые в учебном процессе для обучения детей, школьников и студентов [1, 2]. Обучение с их помощью осуществляется за счет использования учебных материалов на машинных носителях информации и средств тестирования уровня освоения изучаемого предмета.

В образовательных системах, использующих представление учебных материалов на машинных носителях, отсутствуют контроля и оценки поведения обучаемых.

Современные средства образовательной техники направлены на поддержку педагога в выполнении рутинных функций. Одной из важнейших из них является контроль состояния учащихся с целью раннего выявления потенциальных отклонений от планового хода учебного процесса, в том числе и опасных для здоровья самих обучаемых. Наблюдаемое в последние годы нарастание дифференциации учащихся образовательных заведений, как по состоянию здоровья, так и по уровню подготовки, создает дополнительные трудности для педагога в организации и проведении учебного процесса в учебном классе. Все больше внимания приходится уделять контролю состояния учащихся. При этом можно выделить целый спектр целей проведения указанного контроля. В частности, к ним можно отнести: оценка степени активности при выполнении учебных заданий, оценка степени глубины и адекватности результатов выполнения учебных заданий, оценка текущего эмоционального состояния здоровья учащихся и т.д. Как следствие, педагог вынужден все большую часть своего внимания уделять решению, казалось бы, второстепенных задач. При этом очевидно, что именно негативные виды эмоционального состояния обучаемого в наибольшей степени оказывают влияние на снижение эффективности образовательного процесса. Выполнить одновременно оценку эмоционального состояния каждого обучаемого в учебной группе педагогу, очевидно, затруднительно.

Это обусловлено тем, что для выявления отклонений показателей эмоционального состояния, оказывающих влияние на когнитивные процессы учащегося, требуется постоянное наблюдение за состоянием каждого обучаемого учебной группы, что практически не может быть осуществлено педагогом в процессе выполнения учебного плана урока. Для решения проблемы распознавания эмоционального состояния человека все чаще используются различные технические средства, позволяющие осуществлять анализ и оценку состояния каждого обучаемого учебной группы в автоматическом режиме при полном отсутствии фактора субъективности.

При этом наиболее распространенными исходными данными являются фотовидеоизображения лица обучаемого. В связи с этим наиболее востребованной является задача идентификации эмоционального состояния на основе исследования фотовидеоизображения лица оператора. В процессе исследования эмоционального состояния используются различные критерии, такие как двигательные единицы и двигательные дескрипторы в следующих группах: основные коды, коды движений головы, коды движений глаз, коды видимости и коды общего поведения. Каждый критерий оценивается не только по интенсивности, но и по симметричности. Известные подсистемы распознавания эмоций представляют собой совокупность программного и информационного обеспечения в виде программных модулей и структур данных, предназначенных для решения задачи распознавания эмоций людей на основе анализа, как видеоизображений, так и статичных фотоизображений [3, 4].

В целях поддержки деятельности педагога создаются программно-аппаратных комплексы, получившие обобщенное название «образовательная робототехника». Образовательный робототехнический комплекс призван выполнять часть рутинных образовательных процедур, осуществлять контроль состояния активности, вовлеченности в учебный процесс. Исследования показывают, что дети демонстрируют хорошую реакцию на роботизированные системы, уделяют больше внимания роботу, а не человеку. Задания с повторениями выполняются лучше при участии робота. При этом познавательные способности детей одинаковы как при обучении роботом, так и человеком [5, 6].

Известна автоматизированная система [7] для обучения и контроля знаний, содержащая пульт управления, устройство ввода ответов и реакций обучаемого, блоки ввода информации, блок предъявления информации, отличающаяся тем, что в качестве пульта управления использован процессор персонального компьютера и его программное обеспечение, в качестве устройства ввода ответов и реакций обучаемого использована клавиатура персонального компьютера, в качестве одного блока ввода информации использован видеоадаптер, а другой блок ввода информации выполнен в виде платы, подключенной к разъему системной шины персонального компьютера и содержащей дешифратор управляющих сигналов, буфер данных, устройство управления и синхронизации, счетчик адреса, блок памяти, цифроаналоговый преобразователь и аналоговый мультиплексор, причем входы дешифратора управляющих сигналов и буфера данных подключены к системной шине, выходы дешифратора управляющих сигналов подключены к устройству управления и синхронизации, выходы которого подключены к управляющим входам буфера данных, счетчика адреса, блока памяти и аналогового мультиплексора; выход буфера данных подключен к блоку памяти, адресный вход которого подключен к выходу счетчика адреса, а выход соединен с входом цифроаналогового преобразователя, один вход аналогового мультиплексора соединен с выходом цифроаналогового преобразователя, а второй вход соединен с аналоговым выходом видеоадаптера, а второй вход соединен с аналоговым выходом видеоадаптера, а выход аналогового мультиплексора подключен к аналоговому входу видеомонитора, синхровходы которого подключены к выходам устройства управления и синхронизации, синхровходы устройства управления и синхронизации подключены к синхровыходам видеоадаптера

К недостаткам такой автоматизированной системы для обучения и контроля знаний в первую очередь следует отнести отсутствие использования результатов анализа данных о состоянии обучаемого для адаптации учебного процесса к уровню подготовленности и текущего состояния обучаемого, что не позволяет повысить эффективность образовательного процесса в целом.

Известна более совершенная конструкция программно-аппаратного комплекса обучающей системы [8], содержащая сервер, терминал обучаемого, соединенный с указанным сервером через вычислительную сеть, при этом сервер включает средство хранения учебного материала; средство передачи учебного материала на терминал обучаемого с использованием вычислительной сети, терминал обучаемого включает средство получения указанного учебного материала от сервера, с использованием сети, средство демонстрации полученного учебного материала обучаемому; средство распознавания действий обучаемого во время демонстрации учебного материала; средство передачи указанных распознанных действий обучаемого на сервер; сервер дополнительно содержит средство получения распознанных действий обучаемого от терминала обучаемого через вычислительную сеть; средство оценки отношения обучаемого к обучению на основе вышеуказанных действий; средство распознавания содержит средства получения изображения обучаемого, средства получения звуков голоса обучаемого и средства контроля вводимой обучаемым информации на устройство ввода-вывода, соединенных с терминалом обучаемого.

Недостатком такой конструкции является невозможность в процессе мониторинга учебного процесса обучаемого при автоматической оценке степени понимания им учебного материала учитывать эмоциональное состояние обучаемого, управлять вниманием обучаемого, стимулировать обучаемого, что снижает эффективность обучения. А при работе с детьми с ограниченными возможностями здоровья подобная система не может использоваться и для решения такой важной задачи, как выявление эмоциональных проблем у подростков и их корректировки.

Технической проблемой изобретения является необходимость повышения эффективности образовательного процесса на основе оценки результатов выполнения обучаемым учебного задания, оценки его эмоционального состояния, а затем на их основе автоматического определения адекватного уровня представления учебного задания и действий программно-аппаратного комплекса поддержки действий педагога для управления вниманием обучаемого, стимулирования и оказания помощи в правильном выполнении учебных заданий.

Указанная проблема решается тем, что на основе оценки текущего состояния обучаемого, автоматически формируемой средством анализа состояния обучаемого, использующим показатели эмоционального состояния обучаемого, определяемые средством исследования видеосигнала с фронтальным изображением лица обучаемого, получаемого в режиме реального времени с помощью видеокамеры, показатели соответствия результатов выполнения обучаемым требований учебного задания, формируемые средством анализа действий обучаемого, автоматически определяется процедура действий, включающая действия по управлению вниманием обучаемого, действия по стимулированию обучаемого к выполнению учебных заданий, действия по оказанию помощи обучаемому в правильном выполнении учебных заданий, действия по предъявлению обучаемому нового учебного задания, действия по поощрению обучаемого. Управление вниманием обучаемого, стимулирование и оказание помощи в правильном выполнении учебных заданий производится роботом антропоморфного типа, выступающим в качестве помощника педагога.

Управление вниманием обучаемого может осуществляться посредством приближения робота к столу обучаемого, жестов, выполняемых манипуляторами робота, звуковых сигналов (речи), воспроизводимых акустическими системами робота и/или учебного компьютера обучаемого, демонстрацией видеоизображений на мониторе робота и/или учебного компьютера обучаемого.

Стимулирование обучаемого к выполнению учебных заданий может включать напоминание о возможных поощрениях для успешно выполняющих учебные задания, например, демонстрацию любимого мультфильма.

Оказание помощи обучаемому в выполнении учебных заданий может заключаться в неоднократной, при необходимости, демонстрации роботом правильной последовательности действий при выполнении учебного задания.

Технический результат изобретения заключается в создании технической возможности повышения эффективности образовательного процесса за счет автоматического определения в режиме реального времени оценки эмоционального состояния обучаемого, оценки результатов выполнения обучаемым учебного задания и определения на их основе адекватного уровня представления учебного задания, автоматического определения процедуры (последовательности действий) автономного антропоморфного робота помощника педагога по управлению вниманием обучаемого, стимулирования и оказания помощи в правильном выполнении учебных заданий.

Антропоморфный робот может быть полезен детям с ограниченными возможностями по здоровью, дополняя педагога в выполнении типовых действий в рамках учебного процесса. Он может быть полезен как в работе педагога с детьми с задержкой психического развития, так и с детьми-аутистами, помогая прививать навыки социального общения. Здесь могут быть эффективны методы анализа видеосигналов от видеокамеры фронтального изображения лица обучаемого, позволяющие уточнить эмоциональное состояние ребенка, концентрацию его внимания, а, следовательно, определить стратегию действий робота как активного компонента программно-аппаратного комплекса поддержки действий педагога.

Конструктивная схема программно-аппаратного комплекса для оценки эмоций обучаемого в поддержку действий педагога показана на чертеже - фиг. Позициями на чертеже обозначены: 1 - видеокамера на рабочем столе (компьютере) обучаемого; 2 -микрофон на рабочем столе (компьютере) обучаемого; 3 - компьютер обучаемого; 4 -дисплей компьютера обучаемого; 5 - громкоговоритель на компьютере обучаемого; 6 -клавиатура компьютера обучаемого; 7 - устройство ввода информации "мышь" компьютера обучаемого; 8 - сервер; 9 - устройство Wi-Fi на сервере; 10 - маршрутизатор; 11 - робот; 12 - видеокамера на роботе; 13 - устройство Wi-Fi на компьютере робота; 14 - микрофон на роботе; 15 - громкоговоритель на роботе; 16 - дисплей на роботе; 17 -компьютер педагога.

Программно-аппаратный комплекс для оценки эмоций обучаемого в поддержку действий педагога содержит компьютер обучаемого 3, соединенный с сервером 8 через маршрутизатор 10 посредством вычислительной сети и включающий средство получения учебного материала от сервера 8 через маршрутизатор 10 посредством вычислительной сети, средство демонстрации полученного от сервера 8 учебного материала на дисплее 4 с возможным звуковым сопровождением с помощью громкоговорителя компьютера обучаемого 3, средство распознавания действий обучаемого в течение учебного занятия на основе анализа ответов (реакции) обучаемого, вводимых в виде символьной (текстовой) информации через клавиатуру 6, задаваемых обучаемым в виде указательной информации с использованием устройства 7 типа "мышь", подаваемых обучаемым в виде звуковых сигналов (речи) с использованием микрофона 2, средство передачи распознанных действий обучаемого на сервер 8, средство распознавания изображения лица обучаемого на основе анализа видеоизображения, получаемого с видеокамеры 1, средство оценки эмоционального состояния обучаемого по данным видеосигнала видеокамеры 1, средство передачи оценки эмоционального состояния обучаемого на сервер 8; сервер 8, содержащий средство передачи учебного материала на дисплей 4 компьютера 3 обучаемого через маршрутизатор 10 посредством вычислительной сети, средство получения данных о распознанных действиях обучаемого от компьютера 3 обучаемого через маршрутизатор 10 посредством вычислительной сети, средство получения и обработки данных об эмоциональном состоянии обучаемого, средство выбора (планирования) программы действий программно-аппаратного комплекса для оценки эмоций обучаемого в поддержку действий педагога, средство управления исполнением программы действий программно-аппаратного комплекса поддержки действий педагога; автономный робот 11 антропоморфного типа, соединенный через устройство 13 беспроводной связи Wi-Fi с сервером 8 и включающий средство ориентации с использованием стереоскопической видеокамеры и других устройств (лазерный дальномер, гироскоп, акселерометр, компас и т.д.), средство отображения текстовой и графической информации на дисплей 16, средство воспроизведения звуковой (голосовой) информации с использованием громкоговорителя 15, средство получения с использованием микрофона 14 голосовых команд педагога и ответов обучаемого на вопросы педагога и/или робота, средство управления исполнением действий в соответствии с заданной командой/процедурой; компьютер 17 педагога, соединенный с сервером 8 через маршрутизатор 10 посредством вычислительной сети.

Программно-аппаратный комплекс работает следующим образом.

Педагог посылает через компьютер 17, маршрутизатор 10 на сервер 8 команду передачи обучаемому учебного задания, которое средством передачи учебного материала от сервера через маршрутизатор 10 посредством вычислительной сети передает учебные материалы средству получения учебного материала компьютера 3 обучаемого, которое передает полученную информацию средству демонстрации учебного материала, которое отображает учебные материалы на дисплее 4 с возможным звуковым сопровождением с помощью громкоговорителя 5 компьютера 3 обучаемого.

В процессе выполнения задания обучаемый дает ответы на учебные задания (вводит результаты выполнения задания) в символьном виде с помощью клавиатуры 6, в виде указательной информации (выбора объектов на экране дисплея) с помощью устройства типа «мышь» 7, в виде звуковых сигналов (речи), воспринимаемых с помощью микрофона 2.

Средство распознавания действий обучаемого непрерывно в течение учебного занятия на основе анализа полученных ответов (реакции) обучаемого формирует оценку соответствия действий обучаемого требованиям учебного задания.

Средство передачи распознанных действий обучаемого передает полученные данные через маршрутизатор 10 посредством вычислительной сети средству получения данных о распознанных действиях обучаемого на сервере 8.

Средство распознавания изображения лица обучаемого непрерывно на основе анализа видеоизображения, получаемого с видеокамеры 6, осуществляет выделение фрагмента изображения, соответствующего лицу обучаемого и передает его средству оценки эмоционального состояния.

Средство оценки эмоционального состояния обучаемого по полученным данным изображения лица обучаемого непрерывно формирует текущее значение оценки и передает его средству передачи оценки психического и эмоционального состояния обучаемого.

Средство передачи оценки эмоционального состояния обучаемого передает полученное значение через маршрутизатор 10 посредством вычислительной сети средству получения и обработки данных о эмоциональном состоянии обучаемого на сервере 8.

Средство оценки соответствия действий обучаемого требованиям учебного задания на основе анализа полученных данных о распознанных действиях и эмоциональном состоянии обучаемого формирует оценку соответствия действий обучаемого требованиям учебного задания, передаваемую средству выбора (планирования) программы действий программно-аппаратного комплекса в поддержку действий педагога, которая средством управления исполнением построенной программы действий через устройства 9 и 13 беспроводной связи Wi-Fi передается средству управления исполнением действий робота в соответствии с заданной командой/процедурой.

Средство управления исполнением действий с использованием средства ориентации управляет выполнением действий (движений) робота в соответствии с заданной командой/процедурой, а также с помощью средства отображения текстовой и графической информации и с помощью средства воспроизведения звуковой информации управляет передачей обучаемому стимулирующей, поощряющей, помогающей в выполнении учебного задания и поясняющей действия робота информации.

В результате совокупных действий педагога, программно-аппаратного комплекса и обучаемого изменяются результаты выполнения обучаемым учебного задания и его эмоциональное состояние. В случае успешного решения обучаемым учебного задания педагог дает команду серверу на переход к следующему заданию. В противном случае выбирается иная, из множества предварительно подготовленных форм представления невыполненного учебного задания, более адекватная текущему состоянию (уровню подготовки) обучаемого.

Осуществление изобретения

Далее описывается вариант осуществления изобретения в соответствии с реализацией, осуществленной в Саратовском государственном техническом университете имени Гагарина Ю.А. (далее СГТУ имени Гагарина Ю.А.).

Обозначения компонентов, используемых в описании, соответствуют обозначениям, принятым на Фиг. 1.

В СГТУ имени Гагарина Ю.А. в качестве сервера 5 используется НРС 6050, в качестве компьютеров обучаемого 3 и педагога 13 использованы персональные компьютеры на базе AMD А12-9800 в стандартной комплектации (клавиатура, мышь), дополнительно оснащенные HD-видеокамерой и акустическими стерео громкоговорителями.

Сервер 5, компьютеры обучаемого 3 и педагога 13 функционируют под управлением операционной системы Linux Ubuntu 18.04 и объединены в Ethernet-сеть с использованием коммутатора D-Link DGs-1210-52MP.

В качестве робота 12 антропоморфного типа в СГТУ использован робот AR600 производства НПО «Андроидная техника» [http://www.npo-at.com].

Антропоморфный робот AR600 снабжен манипуляторами с пятипалыми кистевыми схватами, головным блоком с видеокамерой, центральным блоком (туловищем) с установленными в нем лазерным дальномером, микрофоном, акустической системой, педипуляторным блоком, вычислительной системой под управлением операционной системы Linux Ubuntu, необходимым программным обеспечением для решения различных задач (навигации, ориентации, планирования траектории движения, обработки видеоизображений, обработки звуковых сигналов/речи, управление манипуляторами для работы с объектами, управление педипуляторами (ногами) в процессе двуногой ходьбы, специализированного командного языка для внешнего управления с использованием беспроводной связи Wi-Fi, голосового взаимодействия с людьми, включая выполнение голосовых команд).

Для обмена информацией (передача команд управления и данных) робота с сервером 5 используется беспроводная сеть Wi-Fi.

Формирование оценки соответствия действий обучаемого требованиям учебного задания в зависимости от требуемых учебным заданием вида и формы действий (ответов) обучаемого включает следующие варианты:

- для заданий множественного выбора, предполагающих указание номера правильного ответа осуществляется сравнение указанного обучаемым номера ответа (целое число от 1 до 5) с номером (целое число от 1 до 5) правильного ответа, предусмотренным учебным заданием;

- для заданий множественного выбора, предполагающих указание правильного ответа из списка представленного на экране монитора компьютера обучаемого осуществляется сравнение варианта ответа, указанного обучаемым с помощью манипулятора «мышь» компьютера обучаемого с правильным вариантом ответа, предусмотренным учебным заданием;

- для заданий, требующих выполнения обучаемым вычислительных операций (результатом вычисления является число) осуществляется сравнение варианта ответа введенного обучаемым с клавиатуры компьютера обучаемого с правильным вариантом ответа, предусмотренным учебным заданием;

- и т.д. в зависимости от вида учебного занятия и в соответствии с предварительно подготовленными методистом и педагогом сценариями проведения учебных занятий.

Управление вниманием обучаемого осуществляется посредством выполнения одного или некоторой последовательности из предопределенных (предварительно запрограммированых) действий: приближения робота к столу обучаемого, жестов, выполняемых манипуляторами робота, звуковых сигналов (речи), воспроизводимых акустическими системами робота и/или учебного компьютера обучаемого, демонстрацией видеоизображений на мониторе робота и/или учебного компьютера обучаемого.

Стимулирование обучаемого к выполнению учебных заданий осуществляется посредством выполнения одного или некоторой последовательности из предопределенных (предварительно запрограммированых) действий: напоминание в форме речи, воспроизводимых акустическими системами робота и/или учебного компьютера обучаемого, демонстрацией видеоизображений на мониторе робота и/или учебного компьютера обучаемого о возможных поощрениях для успешно выполняющих учебные задания, например, демонстрацию любимого мультфильма.

Оказание помощи обучаемому в выполнении учебных заданий осуществляется посредством выполнения одного или некоторой последовательности из предопределенных (предварительно запрограммированых) действий, например, в неоднократной, при необходимости, демонстрации роботом правильной последовательности действий при выполнении учебного задания, осуществляемой в форме речи (например, правильного произнесения изучаемых фраз), воспроизводимой акустическими системами робота и/или учебного компьютера обучаемого, демонстрации видеоизображений на мониторе робота и/или учебного компьютера обучаемого, выполнении манипуляторами робота необходимых манипуляций, например, с учебными макетами в соответствии с требованиями учебного задания.

Для получения информации о текущем эмоциональном состоянии обучаемого используется видеоизображение лица обучаемого, получаемое с помощью HD видеокамеры, установленной на рабочем столе обучаемого. Видеоизображение проходит обработку, например, специализированным программным обеспечением [«Программа распознавания эмоций «EmotionDetector»», Свидетельство Роспатента о регистрации программы для ЭВМ №2019666123 от 05.12.2019 г., заявка №2019665022 от 25.11.2019, Правообладатель: Федеральное государственное бюджетное образовательное учреждение высшего образования «Саратовский государственный технический университет имени Гагарина Ю.А.» (СГТУ имени Гагарина Ю.А.) (RU)]. Результаты обработки передаются с компьютера обучаемого 3 на сервер 5 с использованием сети Ethernet для дальнейшей обработки.

Далее приводится справочная информация о применяемом в указанной программе методе распознавания эмоций, опубликованная в статье [9].

Методы компьютерного распознавания эмоций людей по видеоизображению пока недостаточно хорошо разработаны. В силу многокритериальности и сложности задачи распознавания эмоций часто в качестве математического аппарата находят применение сверточные нейронные сети [3], [4], [10], [11].

В 1978 году Пол Экман [12] предложил систему «кодирования лицевых движений» (сокращенно FACS, «Facial Action Coding System»), на которой основываются многие разработки в области автоматического распознавания эмоций. Были разработаны универсальные критерии для описания состояния лица человека, выделено около 90 базовых признаков, а также введен набор из семи базовых эмоций: радость, удивление, печаль, гнев, отвращение, страх, презрение [13]. Система кодирования изложена на более чем 500 страницах и представляет собой подробнейшее описание базовых единиц, признаков и дескрипторов. Для определения эмоций используются такие критерии, как двигательные единицы ДЕ и двигательные дескрипторы ДД в следующих группах: основные коды, коды движений головы, коды движений глаз, коды видимости и коды общего поведения. Каждый критерий оценивается не только по интенсивности, но и по симметричности. Сложность системы кодов Экмана еще раз указывает на то, что задача распознавания эмоций многокритериальная и весьма трудно формализуемая.

Разрабатываемая в Саратовском государственном техническом университете имени Гагарина Ю.А. подсистема распознавания эмоций программно-аппаратного комплекса для оценки эмоций обучаемого [14] представляет собой совокупность программного и информационного обеспечения в виде программных модулей и структур данных, предназначенных для решения задачи распознавания эмоций людей на основе анализа как видеоизображений, так статичных фотоизображений. Функциональная модель подсистемы распознавания эмоций представлена на рисунке 1. Под медиаданными здесь понимаются видеофрагменты, которые либо получены с видеокамеры, либо прочитаны из файла, а под фреймами - отдельные статичные изображения - кадры.

Подсистема распознавания эмоций программно-аппаратного комплекса для оценки эмоций обучаемого разработана с использованием кроссплатформенных технологий Java и форматов данных (JSON [15]).

Рисунок 1 - Функциональная модель подсистемы распознавания эмоций Блок предварительной обработки АО представляет собой стандартный комплекс программных компонентов, выполняющий следующие подготовительные преобразования:

• конвертация изображений,

• изменение размера изображения,

• выравнивание гистограммы изображения,

• выравнивание яркости изображения,

• чтение фреймов видео с камеры или из файла.

Блок А1 определения изображений лиц на фрейме реализует достаточно известный в литературе и хорошо разработанный алгоритм Виолы-Джонса [16]. Данный алгоритм основан на интегральном преобразовании исходной матрицы изображений, при котором каждый компонент матрицы содержит в себе сумму интенсивностей всех пикселей, которые находятся выше и левее данного элемента. Элементы матрицы рассчитываются с помощью формулы:

где I (i, j) - яркость пикселя с координатами i и j первоначального изображения.

Затем вычисляются признаки Хаара (рисунок 2), значения которых равняются разности суммы пикселей в белом прямоугольнике и в черном прямоугольнике при последовательном наложении паттернов (битовых масок) на исходное изображение, с дальнейшим применением «жадного» классификатора AdaBoost [17].

Помимо обнаружения лиц на изображении, блок А1 отвечает за графическое обозначение обнаруженных лиц рамками с добавленными метками распознанных эмоций.

В качестве математического аппарата, применяемого на стадии распознавания эмоции после этапа сегментирования и выделения лиц алгоритмом Виолы-Джонса, выступает сверточная нейронная сеть [18]. Сеть строится по каскадному принципу и состоит из набора чередующихся сверточных и субдискретизирующих слоев. Сверточные слои выполняют вычисления:

где x^l - выход (результат) слоя l, ƒ - функция активации, b - коэффициент сдвига, символом * обозначается операция свертки [19]; - карта признаков j (выход слоя l), ƒ - функция активации, - коэффициент сдвига для карты признаков j, - ядро свертки номер j, - карты признаков предыдущего слоя (l-1).

Работа субдискретизирующих слоев формально может быть описана:

где ƒ - функция активации, subsample- операция выборки локальных наибольших значений, x^l - результат (выход) слоя l, a, b - настроечные коэффициенты.

После каскада сверточных и субдискретизирующих слоев работает многослойная нейронная сеть, которая производит окончательную классификацию обрабатываемого образа:

где w - матрица весовых коэффициентов, b - коэффициент сдвига, x^l - выход слоя l, ƒ - функция активации нейронов (сигмоидная функция вида где α - масштабный коэффициент).

Нейронная сеть обучалась по методу обратного распространения ошибки с целевой функцией

где р - количество примеров в обучающем множестве, М - количество выходных нейронов (классов), y_i - полученное значение на выходе i, d_i - ожидаемое значение на выходе i.

Для обучения использовался набор обучающих примеров, состоящий из 40072 изображений, взятых из открытых источников в сети Интернет [20-23]. Например, на рисунке 3 приведены некоторые изображения из выборки, представленной в [21].

Тестовая выборка была сформирована путем выделения 20% выбранных случайных образом примеров из всей имеющейся совокупности.

Первая попытка обучения не дала полезных результатов и показала необходимость кардинальной предварительной обработки набора из-за его недостаточного качества, особенно в части изображений в классах «Злость», «Страх» и «Печаль». После проведенной вручную предобработки изображений удалость достичь точности распознавания до 85% на тестовой выборке. Количество эпох обучения составило 1296. Обучение производилось на IBM-совместимом персональном компьютере и продлилось порядка 12 часов. На рисунках 4 и 5 приведены графики изменения точности распознавания эмоции по ходу процесса обучения по каждому классу эмоций. По горизонтальной оси отражены стадии процесса обучения в % от общего количества эпох, а по вертикальной - достигнутая доля правильно распознанных примеров из тестового множества по каждому классу эмоций отдельно.

По графикам, представленным на рисунках 4 и 5 видно, что процесс обучения связан с увеличением точности распознавания, которая достигла значения от 73% для класса «гнев» до 85% для класса «печаль». При этом начальные значения точности принимают значения от 11% для класса «отвращение» до 41% для класса «гнев». На рисунке 6 представлена диаграмма, отображающая количество верно распознанных примеров по отношению к общему количеству примеров из тестового множества по каждому классу распознаваемых эмоций.

Блок подготовки результата распознавания A3 на данном этапе развития программного продукта реализован в виде метода, использующего возможности сериализации объектов из библиотек языка Java.

Подсистема распознавания эмоций реализована в виде веб-службы и выполняется на сервере программно-аппаратного комплекса [14].

Следует отметить, что указанные в вышеприведенном описании компоненты и устройства, включая вычислительные устройства, например, сервер 5, компьютер педагога 13 и компьютер обучаемого 3, их штатные и дополнительные компоненты (клавиатуры, манипуляторы «мышь», микрофоны, громкоговорители, видеокамеры), робототехнический комплекс, его исполнительные механизмы и устройства управления (вычислительные узлы, датчики, дальномеры, видеокамеры, громкоговорители и др.) могут быть выполнены в различном исполнении, что не изменяет сути данного изобретения.

Вышеописанный вариант выполнения изобретения и его преимущества приведены только в качестве примера и не должны рассматриваться как ограничение данного изобретения.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Роберт И.В. Современные информационные технологии в образовании: дидактические проблемы; перспективы использования. - М.: ИИОРАО, 2010.-140 с.

2. Джаджа В.П. Мультимедийные технологии обучения: Учебное пособие. - Самара: СФ ГБОУ ВПО МГПУ, 2013. - 98 с.

3. Tatarenkov D.A. Analysis of methods for detecting faces in an image // Engineering. Young scientist. 2015. No 4. pp. 270-276.

4. Facial expression recognition software FaceReader // Noldus -Innovative solutions for behavioral research: [Электронный ресурс].

5. Williams, A.B. The qualitative impact of using LEGO MINDSTORMS robots to teach computer engineering. IEEE Trans. Educ. 2003, 46, 206.

6. Ahmad, M.I.; Mubin, O.; Orlando, J. Understanding behaviours and roles for social and adaptive robots in education: teacher's perspective. In Proceedings of the Fourth International Conference on Human Agent Interaction, Singapore, 4-7 October 2016; pp. 297-304.

7. Патент SU 2 110 095, 27.04.1998.

8. Патент SU 2 262 738, 20.10.2005.

9. Stepanov, M.F., Kuzmin, A.K., Dolinina, O.N. Hardware and Software System of an Android Assistant for Teachers: Student emotion recognition sybsystem. 2019 International Multi-Conference on Industrial Engineering and Modern Technologies (FarEastCon). DOI: 10.1109/FarEastCon.2019.8934324

10. Y. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard and L.D. Jackel: Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation, 1(4):541-551, Winter 1989.

11. Zhao W., Chellappa R., Phillips P., Rosenfeld A. Face recognition: A literature survey // ACM Computing Surveys (CSUR). 2003. V. 35. №4. C. 399-458.

12. Ekman P., Friesen W. Facial Action Coding System: A Technique for the Measurement of Facial Movement // Consulting Psychologists Press, Palo Alto, 1978.

13. Kohn R. Facial Action Coding System; M.: Эксмо, 2013. 103 с.

14. Stepanov M.F. Architectural features of the cyberphysical control system of the hardware-software complex of the assistant robot for the teacher / M.F. Stepanov, V.Y. Musatov, I.V. Egorov, S.V. Pchelintseva, A.M. Stepanov // Mathematical methods in engineering and technology: Proceedings of the International Scientific Conference in 12 volumes, Vol.12. / edited by Bolshakov A.A. - St. Petersburg.: Polytechnic University Publishing, 2019. - pp. 25 - 35.

15. D. Crockford The Application/Json Media Type for JavaScript Object Notation (JSON) - Internet Engineering Task Force, 2006. - 10 p.

16. Viola P., Jones M. Robust Real-time Object Detection // International Journal of Computer Vision, Second International Workshop On Statistical And Computational Theories Of Vision - Modeling, Learning, Computing And Sampling, Vancouver, Canada, July 2001

17. Sochman J., Matas J. AdaBoost. Center for Machine Perception; M.: Czech Technical University, 2010. 55 c.

18. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard and L. D. Jackel: Backpropagation Applied to Handwritten Zip Code Recognition // Neural Computation, 1(4):541-551, Winter 1989.

19. Kolmogorov A.N., Fomin S.V. Elements of the theory of functions and functional analysis, - M.: Nauka, 2004 (7th ed.).

20. Challenges in Representation Learning: Facial Expression Recognition Challenge: [Electronic resource]. 2019. Access mode: https://www.kaggle.com/c/challenges-in-representation-learning-facial-expression-recognition-challenge/data, 21.04.2019.

21. Emotion and identity detection from face images: [Electronic resource]. 2019. Access mode: https://www.kaggle.eom/c/facial-keypoints-detector, 22.04.2019.

22. The Japanese Female Facial Expression (JAFFE) Database: [Electronic resource]. 2019. Access mode: http://www.kasrl.org/jaffe.html, 25.04.2019.

23. Cohn-Kanade (CK and CK+) database: [Electronic resource]. 2019. Access mode: http://www.consortium.ri.cmu.edu/ckagree/, 27.04.2019.

Изобретение относится к автоматизированным средствам обучения и может быть использовано для комплексного индивидуального или группового обучения детей с ограниченными возможностями здоровья, школьников или студентов. Программно-аппаратный комплекс для оценки эмоций обучаемого предоставляет техническую возможность для повышения эффективности образовательного процесса на основе автоматической оценки результатов выполнения обучаемым учебного задания, автоматической оценки эмоционального состояния обучаемого по данным обработки видеосигнала изображения лица обучаемого с использованием видеокамеры, расположенной на компьютере обучаемого, и на их основе определения действий автономного антропоморфного робота, выступающего в качестве помощника педагога по управлению вниманием обучаемого, стимулирования и оказания помощи обучаемому в правильном выполнении учебных заданий. 1 ил.

Программно-аппаратный комплекс для оценки эмоций обучаемого, содержащий компьютер обучаемого, соединенный с сервером через маршрутизатор посредством вычислительной сети и включающий средство получения учебного материала от сервера через маршрутизатор посредством вычислительной сети, средство демонстрации полученного от сервера учебного материала на дисплее компьютера обучаемого с возможным звуковым сопровождением с помощью громкоговорителя компьютера обучаемого, средство распознавания действий обучаемого в течение учебного занятия на основе анализа ответов или реакции обучаемого, вводимых в виде символьной или текстовой информации через клавиатуру компьютера обучаемого, задаваемых обучаемым в виде указательной информации с использованием устройства типа "мышь", подаваемых обучаемым в виде звуковых сигналов или речи с использованием микрофона, средство передачи распознанных действий обучаемого на сервер, средство распознавания изображения лица обучаемого на основе анализа видеоизображения, получаемого с видеокамеры, средство оценки эмоционального состояния обучаемого по данным видеосигнала видеокамеры, средство передачи оценки эмоционального состояния обучаемого на сервер; сервер, содержащий средство передачи учебного материала на дисплей компьютера обучаемого через маршрутизатор посредством вычислительной сети, средство получения данных о распознанных действиях обучаемого от компьютера обучаемого через маршрутизатор посредством вычислительной сети, средство получения и обработки данных об эмоциональном состоянии обучаемого, средство выбора или планирования программы действий программно-аппаратного комплекса, средство управления исполнением программы действий программно-аппаратного комплекса; автономный робот антропоморфного типа, соединенный через устройство беспроводной связи Wi-Fi с сервером и включающий средство ориентации с использованием стереоскопической видеокамеры и других устройств - лазерного дальномера, гироскопа, акселерометра, компаса, средство отображения текстовой и графической информации на дисплей, средство воспроизведения звуковой или голосовой информации с использованием громкоговорителя, средство получения с использованием микрофона голосовых команд педагога и ответов обучаемого на вопросы педагога и/или робота, средство управления исполнением действий в соответствии с заданной командой/процедурой; компьютер педагога, соединенный с сервером через маршрутизатор посредством вычислительной сети, отличающийся тем, что оценка текущего состояния хода учебного процесса, формируемая с использованием оценки эмоционального состояния обучаемого на основе анализа в режиме реального времени видеоизображения лица обучаемого, получаемого с помощью видеокамеры, подключенной к компьютеру обучаемого, а также оценки соответствия действий - результатов выполнения учебного задания обучаемого требованиям учебного задания используется для определения или формирования процедуры действий программно-аппаратного комплекса поддержки действий педагога по управлению вниманием обучаемого, стимулирования и оказания помощи в правильном выполнении учебных заданий, осуществляемой автономным антропоморфным роботом.