СПОСОБ И СИСТЕМА ДЛЯ ОКАЗАНИЯ ПОМОЩИ ПАЦИЕНТУ Российский патент 2017 года по МПК A61B5/16 G06K9/00 G10L17/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу и системе для оказания помощи людям, имеющим ухудшение памяти, например, которое вызвано болезнью Альцгеймера, в социальных взаимодействиях.

УРОВЕНЬ ТЕХНИКИ

Люди с ранней и средней стадией болезни Альцгеймера (AD), которые демонстрируют снижение умственной деятельности, такой как потеря памяти, ослабленная исполнительная функция и ослабленное внимание, могут в целом все еще выполнять свои ежедневные задачи разумно хорошо, обычно с помощью члена семьи, друга или медицинского работника.

Однако люди с AD (или в целом с ухудшенной памятью и ухудшенными познавательными способностями) могут испытывать трудности при социальных взаимодействиях, таком как разговор с другим человеком (который может быть опекуном больного, доктором, другом), так как они обычно не помнят этого человека или соответствующую информацию о нем и, возможно, не способны полностью следовать за разговором. Потеря памяти при таких взаимодействиях приводит к стрессу человека с AD, и это обычно отражается в нежелательном поведении человека, таким образом, усложняя ему поддержание здоровой социальной жизни.

Хотя существуют системы для помощи пожилым людям выполнять их основные задачи и действия, данные системы не являются специально разработанными для людей, которые имеют существенное мысленное ухудшение памяти, такое как болезнь Альцгеймера, и поэтому не подходят в частности для данного использования.

Поэтому существует потребность в способе и системе для оказания помощи человеку, имеющему ухудшение памяти, в социальных взаимодействиях.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Различные аспекты изобретения излагаются в последующих утверждениях.

1. Система для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека и, если определено, что пользователь не узнает человека, обеспечения информации пользователю о человеке.

2. Система согласно утверждению 1, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека посредством определения эмоционального состояния пользователя.

3. Система согласно утверждению 2, причем система содержит один или более датчиков для измерения физиологических характеристик пользователя, и причем система сконфигурирована с возможностью определения эмоционального состояние пользователя на основе измеренных физиологических характеристик.

4. Система согласно утверждению 2 или 3, причем система сконфигурирована с возможностью определения эмоционального состояния пользователя посредством анализа речи пользователя в течение взаимодействия.

5. Система согласно любому из утверждений 1-4, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека, посредством проигрывания аудио- и/или видеосообщения и наблюдения за реакцией пользователя на сообщение.

6. Система согласно любому из утверждений 1-4, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека, посредством использования алгоритма распознавания речи для анализа речи пользователя и/или человека в течение взаимодействия.

7. Система согласно любому из утверждений 1-6, причем система содержит:

средство захвата изображения для захвата изображения или последовательности изображений человека;

процессор для применения алгоритма распознавания лиц к захваченному изображению, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

8. Система согласно любому из утверждений 1-7, причем система содержит:

микрофон для записи речи человека в течение взаимодействия;

процессор для обработки записанной речи с использованием алгоритма распознавания голоса, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

9. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью обеспечения информации человеку, если определено, что пользователь не узнает человека, при этом информация указывает человеку, что пользователь не узнает его.

10. Система согласно любому предыдущему утверждению, причем система содержит микрофон для записи речи в течение взаимодействия между пользователем и человеком, и причем система дополнительно сконфигурирована с возможностью, при определении, что взаимодействие завершено, генерирования сводки взаимодействия для пользователя и обеспечения сводки в пользовательский интерфейс для представления пользователю.

11. Система согласно утверждению 10, причем система дополнительно сконфигурирована с возможностью определения эмоционального состояния пользователя в течение взаимодействия, и причем система дополнительно сконфигурирована с возможностью генерирования сводки взаимодействия для пользователя на основе записанной речи и определенного эмоционального состояния.

12. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и если определено, что пользователь не помнит или не понимает цели взаимодействия, система сконфигурирована с возможностью обеспечения информации пользователю о цели взаимодействия.

13. Система согласно любому предыдущему утверждению, причем система дополнительно сконфигурирована с возможностью наблюдения за взаимодействием для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие, и если определено, что пользователь не следует или не понимает взаимодействие, система сконфигурирована с возможностью обеспечения информации пользователю о взаимодействии.

14. Система согласно утверждению 13, причем система сконфигурирована с возможностью определения контекста взаимодействия так, чтобы система могла обеспечить особую для контекста информацию пользователю о взаимодействии, если определено, что пользователь не следует или не понимает взаимодействие.

15. Система согласно утверждению 12, 13 или 14, причем система сконфигурирована с возможностью наблюдения за (i) речью пользователя для определения, способен ли пользователь начать и следовать за взаимодействием; (ii) речью пользователя для определения эмоционального состояния пользователя; (iii) речью, как пользователя, так и человека для определения контекста взаимодействия и текущего диалога; и/или (iv) физиологической реакцией пользователя в течение взаимодействия для определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и/или для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие.

16. Способ для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, причем способ содержит этапы, на которых:

определяют, узнает ли пользователь человека и;

если определено, что пользователь не узнает человека, обеспечивают информацию пользователю о человеке.

17. Способ согласно утверждению 16, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором определяют эмоциональное состояние пользователя.

18. Способ согласно утверждению 17, причем способ дополнительно содержит этап, на котором измеряют физиологические характеристики пользователя; и причем на этапе определения эмоционального состояние пользователя используют измеренные физиологические характеристики.

19. Способ согласно утверждению 17 или 18, в котором этап определения эмоционального состояния пользователя дополнительно содержит этап, на котором анализируют речь пользователя в течение взаимодействия.

20. Способ согласно любому из утверждений 16-19, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором проигрывают аудио- и/или видеосообщение и наблюдают за реакцией пользователя на сообщение.

21. Способ согласно любому из утверждений 16-19, в котором этап определения, узнает ли пользователь человека, содержит этап, на котором анализируют речь пользователя и/или человека в течение взаимодействия.

22. Способ согласно любому из утверждений 16-21, причем способ дополнительно содержит этапы, на которых:

захватывают изображение или последовательность изображений человека;

применяют алгоритм распознавания лиц к захваченному изображению для идентификации человека;

получают информацию об идентифицированном человеке; и

представляют информацию, полученную об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

23. Способ согласно любому из утверждений 16-22, причем способ дополнительно содержит этапы, на которых:

записывают речь человека в течение взаимодействия;

обрабатывают записанную речь с использованием алгоритма распознавания голоса для идентификации человека;

получают информацию об идентифицированном человеке; и

представляют информацию, полученную об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

24. Способ согласно любому из утверждений 16-23, причем способ дополнительно содержит этап, на котором обеспечивают информацию человеку, если определено, что пользователь не узнает человека, при этом информация указывает человеку, что пользователь не узнает его.

25. Способ согласно любому из утверждений 16-24, причем способ дополнительно содержит этапы, на которых:

записывают речь в течение взаимодействия между пользователем и человеком, и

при определении, что взаимодействие завершено, генерируют сводку взаимодействия для пользователя; и

обеспечивают сводку в пользовательский интерфейс для представления пользователю.

26. Способ согласно утверждению 25, причем способ дополнительно содержит этапы, на которых определяют эмоциональное состояние пользователя в течение взаимодействия; и

генерируют сводку взаимодействия для пользователя на основе записанной речи и определенного эмоционального состояния.

27. Способ согласно любому из утверждений 16-26, причем способ дополнительно содержит этапы, на которых определяют, помнит или понимает ли пользователь цель взаимодействия с человеком; и

если определено, что пользователь не помнит или не понимает цели взаимодействия, обеспечивают информацию пользователю о цели взаимодействия.

28. Способ согласно любому из утверждений 16-27, причем способ дополнительно содержит этапы, на которых наблюдают за взаимодействием для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие; и

если определено, что пользователь не следует или не понимает взаимодействие, обеспечивают информацию пользователю о взаимодействии.

29. Способ согласно утверждению 28, причем способ содержит этап, на котором определяют контекст взаимодействия так, чтобы особая для контекста информация могла быть обеспечена пользователю о взаимодействии, если определено, что пользователь не следует или не понимает взаимодействие.

30. Способ согласно утверждению 27, 28 или 29, причем способ дополнительно содержит этап, на котором наблюдают за (i) речью пользователя для определения, способен ли пользователь начать и следовать за взаимодействием; (ii) речью пользователя для определения эмоционального состояния пользователя; (iii) речью, как пользователя, так и человека для определения контекста взаимодействия и текущего диалога; и/или (iv) физиологической реакцией пользователя в течение взаимодействия для определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и/или для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие.

31. Компьютерный программный продукт, содержащий считываемый компьютером код, при этом код сконфигурирован так, что, при исполнении посредством подходящего компьютера или процессора, компьютер или процессор выполняет способ по любому из утверждений 16-30.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее описаны примерные варианты осуществления изобретения, только в качестве примера, со ссылкой на чертежи, на которых:

Фиг. 1 является блок-схемой системы согласно изобретению;

Фиг. 2 является блок-схемой последовательности операций, изображающей способ согласно первому варианту осуществления;

Фиг. 3 является схемой, изображающей возможные эмоциональные состояния пользователя;

Фиг. 4 является блок-схемой последовательности операций, изображающей способ согласно второму варианту осуществления;

Фиг. 5 изображает модули для наблюдения за взаимодействием в одном варианте осуществления изобретения; и

Фиг. 6 является блок-схемой последовательности операций, показывающей функционирование системы согласно одному варианту осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Хотя изобретение будет описано ниже со ссылкой на систему и способ для человека, страдающего болезнью Альцгеймера (AD), следует учесть, что изобретение подходит для использования любым человеком, имеющим ухудшение памяти, которое влияет на его способность взаимодействовать в социальном отношении.

Примерный вариант осуществления системы 2 согласно изобретению показан на Фиг. 1. Система 2 содержит переносное или мобильное устройство 4, которое надевается или носится пользователем системы 2 (то есть человеком, имеющим ухудшение памяти). Мобильное устройство 4 может принимать любую подходящую форму, однако в предпочтительном варианте осуществления мобильное устройство 4 является подвеской, которая носится вокруг шеи пользователя, хотя в альтернативных вариантах осуществления мобильное устройство 4 может быть мобильным телефоном (например, смартфоном) или PDA.

Мобильное устройство 4 содержит схему 6 приемопередатчика и связанную антенну 8 для осуществления связи с базовым блоком 10. Схема 10 приемопередатчика может быть сконфигурирована с возможностью использования любого подходящего протокола связи для осуществления связи с базовым блоком 10, включая, например, Bluetooth или Wi-Fi, или протокол мобильной связи, такой как GSM, и т.д.

Мобильное устройство 4 также содержит компонент 14 для визуального отображения, громкоговоритель 16, микрофон 18, камеру 20, датчик 21 ориентации или движения (такой как акселерометр и/или магнитометр) и пользовательский ввод 22, каждый из которых соединен с процессором 12. Данные компоненты формируют пользовательский интерфейс, который позволяет пользователю взаимодействовать с мобильным устройством 4 и наоборот. Мобильное устройство 4 может также включать в себя память 23 для хранения данных, собранных посредством микрофона 18 и камеры 20 до передачи посредством схемы 6 приемопередатчика. В некоторых вариантах осуществления изобретения мобильное устройство 4 также включает в себя один или более датчиков 24 для восприятия физиологических характеристик пользователя (например, частоты сердцебиения, частоты дыхания и/или потоотделения), следует учитывать, что данные датчики 24 могут быть обеспечены внешним образом или могут быть отдельны от мобильного устройства 4 (например, так чтобы они могли быть прикреплены непосредственно к коже пользователя) и могут быть связаны с мобильным устройством 4 для сообщения измерений в процессор 12.

Когда датчики 24 являются внешними по отношению к мобильному устройству 4, они могут формировать нательную сеть (BAN) или персональную сеть (PAN). Данные, собранные датчиками 24, могут быть переданы непосредственно в базовый блок 10 для того, чтобы быть оцененными, или они могут быть отправлены сначала в мобильное устройство 4 для того, чтобы быть обработанными, если существует какое-либо строго ограниченное во времени требование внутри системы.

Следует учесть, что мобильное устройство 4 может включать в себя дополнительные компоненты к компонентам, изображенным на Фиг. 1. Например, устройство 4 может включать в себя датчик ориентации и светочувствительный датчик.

Компонент 14 для отображения обеспечивается для показа текстовых или графических сообщений и/или видеоклипов пользователю. Громкоговоритель 16 обеспечивается для вывода аудиоданных (обычно речи, хотя может быть обеспечено и другое аудиосодержимое), которое может быть связано с визуальной информацией, обеспечиваемой компонентом 14 для отображения.

Микрофон 18 используется для обнаружения и записи звука вблизи устройства 4, прежде всего речи пользователя и человека или людей, с которыми взаимодействует пользователь.

Камера 20 используется для захвата изображений, в частности изображений человека или людей, с которыми пользователь взаимодействует. Изображения могут быть неподвижными изображениями или последовательностью видео.

Пользовательский ввод 22 позволяет пользователю взаимодействовать с мобильным устройством 4 и может содержать один компонент для ввода, такой как кнопка или клавиша, множество компонентов для ввода, таких как клавиатура, или другую форму пользовательского ввода, например, сенсорный экран, связанный с компонентом 14 для отображения.

В изображенном варианте осуществления базовый блок 10 содержит схему 25 приемопередатчика и связанную антенну 26 для осуществления связи с мобильным устройством 4. Как и в мобильном устройстве 4, схема 25 приемопередатчика в базовом блоке 10 может быть сконфигурирована с возможностью использования любого подходящего протокола связи, включая, например, Bluetooth или Wi-Fi, или протокол мобильной связи, такой как GSM, и т.д. В данном варианте осуществления базовый блок 10 является компьютером или сервером, расположенным в доме пользователя, или сервером в отдаленном местоположении, который осуществляет связь беспроводным образом с мобильным устройством 4.

В альтернативных вариантах осуществления следует учесть, что там, где базовый блок 10 находится в удаленном местоположении, мобильное устройство 4 может осуществлять связь беспроводным образом с промежуточным устройством, таким как маршрутизатор и/или домашний компьютер, который осуществляет связь с базовым блоком 10 через Интернет, и поэтому схема 25 приемопередатчика и антенна 26 в базовом блоке 10 могут быть заменены подходящими компонентами для соединения базового блока 10 с Интернетом.

Базовый блок 10 содержит процессор 28, память 30, базу 31 данных и пользовательский ввод 32. База 31 данных используется для хранения информации о людях, с которыми пользователь взаимодействовал или мог взаимодействовать, прошлых взаимодействиях, данных пациента для пользователя, различных проблемах при общении, которые может иметь пользователь, поддержке, которая должна быть оказана пользователю, когда происходят данные проблемы, темах разговора, и другой соответствующей информации. Пользовательский ввод 32 позволяет пользователю или медицинскому работнику взаимодействовать с базовым блоком 10 и может содержать клавиатуру, сенсорный экран и т.д.

Как описано выше, люди с AD (и другими ухудшениями памяти) могут испытывать трудности при социальных взаимодействиях, таких как разговор с другим человеком (который может быть опекуном больного, доктором, другом), так как человек может не узнавать человека, с которым он говорит, или он может забыть нить разговора. Однако система 2 согласно вариантам осуществления изобретения обеспечивает информацию, которая помогает пользователю (у которого есть AD или другое ухудшение памяти) узнавать человека, с которым он общается, уменьшая первоначальное смущение у пользователя и помогая предотвратить возникновение стресса из-за отсутствия памяти у пользователя.

В течение взаимодействия система 2 может наблюдать за пользователем для определения, узнал ли он человека, с которым он общается, и контекст взаимодействия, и для определения эмоциональной реакции пользователя или того, становится ли пользователь подвергнутым стрессу из-за взаимодействия, и по необходимости системой 2 может быть обеспечена дополнительная поддержка.

Согласно вариантам осуществления изобретения, система 2 может идентифицировать контекст и тему разговора для того, чтобы обеспечить соответствующую контексту поддержку, чтобы лучше оказывать помощь пользователю в течение взаимодействия.

Варианты осуществления изобретения могут также обеспечивать обратную связь с человеком, с которым пользователь взаимодействует, при этом обратная связь указывает, узнает ли пользователь его или нуждается в помощи при или в течение взаимодействия, и это позволяет человеку адаптировать способ, посредством которого он взаимодействует с пользователем.

Кроме того, как только пользователь завершил свое взаимодействие с человеком, система 2 может обеспечить пользователю информацию о взаимодействии для улучшения воспоминания пользователя о разговоре.

Система 2 может обрабатывать смешанные данные, такие как аудио, видео, текст, свет и тактильные данные, чтобы помочь человеку с AD или ухудшением памяти взаимодействовать в социальном отношении, учитывая его ухудшение памяти, а также его эмоциональное состояние. Наличие такой системы 2 помощи, которая описана в данном документе, может помочь улучшить качество жизни, в частности общественной жизнь, людей с AD.

Теперь будет описан первый вариант осуществления со ссылкой на блок-схему последовательности операций способа на Фиг. 2. В изображенном варианте осуществления, если пользователь не узнает человека, с которым он взаимодействуют, система 2 идентифицирует человека с использованием технологии распознавания лиц и обеспечивает пользователю информацию об этом человеке для того, чтобы помочь пользователю узнать человека и цель взаимодействия. Система 2 также наблюдает за эмоциональным состоянием/уровнем стресса пользователя на всем протяжении взаимодействия, и обеспечивает дополнительную поддержку по необходимости.

Способ может быть приведен в действие при обнаружении человека перед пользователем (например, посредством анализа изображений, полученных посредством камеры 20, или света, обнаруженного другим светочувствительным датчиком) или при обнаружении речи пользователя (например, анализа звука, записанного посредством микрофона 18), либо планируется, что будет иметь место предварительно определенное время перед взаимодействием, (которое может быть записано в электронном календаре для пользователя, сохраненном в мобильном устройстве 4).

Способ начинается с этапа 101, на котором система 2 определяет, узнает ли пользователь человека, с которым он собирается взаимодействовать (или уже начал взаимодействовать). Данный этап может содержать осуществление широковещательной передачи мобильным устройством 4 аудиосообщения, непосредственно спрашивая пользователя, узнает ли он человека. В данном случае, пользователь может ответить с помощью ответа да/нет, который может быть идентифицирован посредством обработки выходного сигнала от микрофона 18 в мобильном устройстве 4.

Данный этап может также содержать осуществление записи первоначальной части разговора с использованием микрофона 18 и осуществление анализа речи пользователя и человека с использованием алгоритма распознавания речи. Содержимое разговора на данном этапе может указывать, узнал ли пользователь человека.

Альтернативно, или в дополнение, данный этап может содержать осуществление наблюдения за эмоциональным состоянием пользователя касательно знаков о том, узнал или не узнал пользователь человека. Например, данный этап может вовлекать осуществление измерения одной или более физиологических характеристик пользователя, таких как частота сердцебиения, изменчивость частоты сердцебиения, проводимость кожи, частота дыхания, потоотделение или любой другой характеристики, которая является указателем уровня стресса или эмоционального состояния пользователя. Характеристики могут быть измерены посредством, например, выделенного датчика (датчиков) 24 в мобильном устройстве 4. Альтернативно, частота дыхания может быть измерена посредством обработки выходного сигнала микрофона 18 для идентификации звука, связанного с дыханием пользователя, а частота сердцебиения может быть измерена из видеоданных кожи пользователя.

Эмоциональное состояние пользователя может также быть определено из измерений уровня голоса или тона пользователя, полученных через микрофон 18.

Там, где должны быть определены эмоциональное состояние или уровень стресса, измерения характеристик (или необработанные данные от датчиков 24, микрофона 18 и/или камеры 20) передаются в базовый блок 10, и процессор 28 обрабатывает измерения или данные для определения уровня стресса или эмоциональное состояние пользователя. Результат обработки (то есть эмоциональный уровень или уровень стресса) будет связанным вероятностным значением, указывающим, насколько достоверным является определение. Затем результат обработки может использоваться в качестве указателя того, узнает ли пользователь человека, с которым он взаимодействует.

Первая часть обработки вовлекает осуществление классификации и определение количества измеренных физиологических характеристик, и установление их соответствия с эмоциональным состоянием. Установление соответствия предпочтительно осуществляется согласно простой схеме, например, как показано на Фиг. 3, в которой эмоциональное состояние пользователя характеризуется дискретными значениями в двух размерностях.

Эти две основные размерности эмоциональной реакции могут полезно характеризовать почти любые ситуации. Валентность представляет собой счастье в целом, закодированное как положительный (например, счастливый), нейтральный или отрицательный (например, печальный, сердитый), а возбуждение представляет собой уровень интенсивности эмоции, закодированной как взволнованный, нейтральный или спокойный. На фигуре валентности-возбуждения может легко быть помещено множество широко упоминаемых эмоций (особенно те, которые соответствуют физическим реакциям на окружение). Специалистам в данной области техники известны методы для установления соответствия измеренных физиологических характеристик, таких как частота сердцебиения, изменчивость частоты сердцебиения, температура кожи, частота дыхания, потоотделение и гальваническая реакция кожи, с фигурой валентности-возбуждения, и эти методы не описываются подробно в данном документе.

Специалистам в данной области техники должно быть понятно, что система 2 может обрабатывать данные датчика иным образом по отношению к тому, как описано выше, чтобы характеризовать большее количество эмоциональных состояний для пользователя. Например, к схеме может быть добавлена третья размерность, указывающая на стресс или напряжение пользователя.

Если пользователь не узнал человека (как определено на этапе 103), способ переходит к этапам 105-113, на которых система 2 идентифицирует человека с использованием технологии распознавания лиц и обеспечивает пользователю информацию об этом человеке для того, чтобы помочь пользователю узнать человека и цель взаимодействия.

На этапе 105 обнаруживается лицо человека, взаимодействующего с пользователем. Это предпочтительно выполняется посредством камеры 20 в мобильном устройстве 4, которая непрерывно или периодически (например, каждые 5 секунд) собирает изображения территории вокруг пользователя (например, территории перед пользователем, если мобильное устройство 4 представлено в форме подвески), и обнаруживает, присутствуют ли какие-либо лица на изображении. Такая технология хорошо известна в уровне техники (в частности в уровне техники цифровых камер), и нет необходимости описывать ее подробно в данном документе. Данная обработка может быть выполнена посредством процессора 12 в мобильном устройстве 4, хотя она может альтернативно быть выполнена посредством процессора 28 в базовом блоке 10. В некоторых вариантах реализации, для того чтобы только обнаружить лицо человека, фактически взаимодействующего с пользователем, а не любое попавшееся лицо, обнаруженное в ближайшем окружении, алгоритм может потребовать, чтобы обнаруженное лицо имело, по меньшей мере, конкретный размер (чтобы удостовериться, что обнаруженный человек находится близко к пользователю).

Как только лицо обнаружено в изображении, изображение может быть захвачено (этап 107) и отправлено в базовый блок 10 через схему 6 приемопередатчика и антенну 8 для обработки посредством процессора 28. Альтернативно, изображения могут захватываться независимо от того, было ли лицо обнаружено, и сохраняться для последующего использования в качестве вспомогательного средства ретроспективной памяти для пользователя.

Затем процессор 28 исполняет алгоритм распознавания лиц, чтобы попытаться и идентифицировать лицо в захваченном изображении (этап 109). Данная обработка может использовать информацию, сохраненную в памяти 30, относящуюся к людям, которых пользователь знает или с которыми взаимодействовал ранее. Данная информация может включать в себя одно или более изображений лица человека. Процессор 28 может идентифицировать человека в изображении с использованием любого известного типа алгоритма распознавания лиц. Например, процессор 28 может использовать основанный на собственных лицах алгоритм для обеспечения самого быстрого возможного результата, хотя специалистам в уровне техники известны другие алгоритмы распознавания лиц, которые могут быть использованы.

Перед исполнением алгоритма распознавания лиц может быть выполнена предварительная обработка, в которой введенное изображение лица нормируется относительно геометрических свойств, таких как размер и позы, и затем дополнительно нормируется относительно фотометрических свойств, таких как освещение и шкала серого, чтобы стандартизировать изображения, которые следует поставлять в алгоритм распознавания лиц. Дополнительно, пиксели в изображении вокруг лица, которые не используются, такие как задний фон изображения, могут быть удалены, так как они изменяются больше, чем лицо.

Как упомянуто выше, может использоваться алгоритм распознавания лиц на основе собственных лиц. В данном алгоритме на первом этапе следует преобразовать цветные изображения к шкале серого и затем применить выравнивание гистограммы в качестве способа автоматической стандартизации яркости и контрастности каждого изображения лица. Полезно применять фильтр низких частот для того, чтобы вычесть помехи, которые все еще присутствуют в изображении после начальной предварительной обработки. Собственные лица используют анализ главных компонентов для уменьшения «размерности» изображений (количества пикселей в изображении). Изображения лиц проецируются в «пространство лиц» (пространство признаков), которое наилучшим образом задает вариации известных проверочных изображений. Пространство лиц задано «собственными лицами», которые являются собственными векторами набора лиц. Данные собственные лица не обязательно соответствуют явным признакам, воспринимаемым как уши, глаза и носы. Затем проекции нового изображения в данном пространстве признаков сравниваются с доступными проекциями обучающих наборов для идентификации человека. Подход является надежным, простым, легким и быстрым в реализации по сравнению с другими алгоритмами, такими как формирование 3-D изображений. Он обеспечивает практическое решение проблемы распознавания в автоматизированной системе, которой необходимо вычислительное время, близкое к реальному времени.

Как только человек в захваченном изображении идентифицирован, процессор 28 извлекает информацию, связанную с этим человеком, из памяти 30 (этап 111). Информация может содержать, например, информацию о его личности, его отношениях с пользователем и предыдущие темы разговора с пользователем. Информация может также относиться к цели взаимодействия с человеком, который может быть извлечен из записи в планировании или календаре для пользователя. Информация о человеке и/или взаимодействии может быть сохранена, например, в форме видео, аудио или файла с текстовыми данными.

Затем извлеченная информация отправляется базовым блоком 10 в мобильное устройство 4 через схему 24 приемопередатчика и антенну 26, и мобильное устройство 4 представляет информацию пользователю (этап 113). Информация может быть представлена пользователю посредством любого или обоих из компонента 14 для отображения и громкоговорителя 16, в зависимости от формата информации (то есть аудио, видео, текст и т.д.), извлеченной из памяти 30. Было обнаружено, что визуальное представление информации более эффективно при активировании памяти пользователя с ухудшениями памяти или AD, таким образом, по меньшей мере, визуальное представление информации является предпочтительным.

Таким образом, система 2 обеспечивает информацию о человеке, с которым пользователь взаимодействует или собирается взаимодействовать, и в качестве дополнительной возможности также о цели взаимодействия и представляет это в простой форме пользователю системы 2, что уменьшает влияние эффекта плохой памяти пользователя на его взаимодействие с человеком.

Следует учесть, что этапы обработки, описанные выше, могут быть выполнены в альтернативных компонентах системы 2 по отношению к тем, которые указаны. Например, алгоритм распознавания лиц может быть выполнен посредством процессора 12 в мобильном устройстве 4, и в базовый блок 6 может передаваться только запрос информации об идентифицированном человеке. Альтернативно, все изображения, собранные посредством камеры 20, могут быть переданы в базовый блок 10 для того, чтобы обнаружить лица в изображениях.

В дополнение к выполнению обработки распознавания лиц над изображениями человека, с которым взаимодействует пользователь, также можно использовать обработку распознавания голоса над аудиозаписью человека, захваченной с использованием микрофона 18 в мобильном устройстве 4. Результаты обоих типов обработки (который может включать в себя предварительную идентификацию и значение вероятности/достоверности того, что распознавание является точным) могут быть объединены, и принимается конечное решение по идентификации. Использование обоих типов обработки увеличивает надежность идентификации человека.

В альтернативном, менее предпочтительном, варианте реализации, можно использовать обработку распознавания голоса для идентификации человека, с которым взаимодействует пользователь, вместо обработки распознавания лиц, описанной выше. Однако, в отличие от варианта реализации распознавания лиц, данный вариант реализации требует, чтобы человек начал говорить с пользователем перед тем, как какая-либо идентификация сможет быть выполнена, таким образом немного задерживая обеспечение информации о человеке пользователю.

Возвращаясь к этапу 103, в качестве необязательного этапа наряду с процессом распознавания лиц, если пользователь не узнает человека, мобильным устройством 4 может быть обеспечена обратная связь с человеком (этап 115). По такому принципу, человек может быть проинформирован о том, что пользователь не узнает его, и он может адаптировать свое поведение в течение взаимодействия соответствующим образом. Обратная связь с человеком может содержать визуальное (например, текстовое или основанное на свете) и/или аудиосообщение от мобильного устройства 4. Подходящая визуальная подсказка может быть красным светом, который указывает, что пользователь не узнает человека, или основанным на тексте сообщением, которое предлагает то, как человек должен вести себя, чтобы помочь пользователю, поскольку пользователь не является полностью реагирующим.

После этапа 113 и/или 115 способ переходит к этапу 117, на котором система 2 анализирует взаимодействие для определения контекста. Если, на этапе 103 определено, что пользователь действительно узнает человека, то способ также переходит к этапу 117. Посредством определения контекста взаимодействия на этапе 117 система 2 будет способна обеспечить соответствующую поддержку пользователю в течение взаимодействия, если это необходимо.

На этапе 117, если взаимодействие является взаимодействием, запланированным в электронном календаре для пользователя, система 2 может исследовать информацию, сохраненную в календаре, для определения контекста взаимодействия. Например, календарь может указывать, что взаимодействие является встречей с работником здравоохранения для обсуждения текущего режима лечения, и система 2 может использовать данную информацию календаря для определения контекста взаимодействия. В дополнение или альтернативно, речь пользователя и/или человека, записываемая микрофоном 18 в системе 2, может быть преобразована в текст благодаря использованию механизма обработки речи, и механизм обработки естественного языка может применяться к тексту для определения контекста взаимодействия.

После этапа 117 способ переходит к этапу 118, на котором система 2 наблюдает за эмоциональным состоянием и/или уровнем стресса пользователя в течение взаимодействия. Эмоциональное состояние и/или уровень стресса пользователя могут наблюдаться, как описано выше со ссылкой на этап 101.

На этапе 119 определяется, подвержен ли пользователь стрессу. Данное определение может быть сделано посредством сравнения измерений физиологических характеристик с одним или более значениями пороговых величин, или посредством установления соответствия измерений с предварительно определенными эмоциональными состояниями, как показано на Фиг. 3.

Если определено, что пользователь не подвержен стрессу в данный момент взаимодействия, способ возвращается к этапу 118 и продолжает наблюдать за эмоциональным состоянием пользователя в течение следующей части взаимодействия.

Если определено, что пользователь подвержен стрессу в данный момент взаимодействия, способ переходит к этапу 121, на котором пользователю обеспечивается поддержка. Конкретная поддержка, обеспеченная пользователю, может быть адаптирована согласно конкретному эмоциональному состоянию или уровню стресса пользователя. Поддержка может содержать визуальные и/или аудиоподсказки, относящиеся к личности человека, с которым он взаимодействует, и цели взаимодействия, определенного из контекстной информации, извлеченной на этапе 117.

Кроме того, наряду с поддержкой, обеспечиваемой пользователю, система 2 может обеспечить обратную связь об эмоциональном состоянии пользователя человеку, с которым он взаимодействует (этап 123). Например, там, где обратная связь является визуальной подсказкой, отображаемой мобильным устройством 4, красное отображения может использоваться для указания, что пользователь подвержен стрессу. Это подобно этапу 115, описанному выше, и позволяет человеку адаптировать свое поведение в течение взаимодействия соответствующим образом. После этапов 121 и 123, способ возвращается к этапу 118, на котором система 2 продолжает наблюдать за эмоциональным состоянием пользователя.

Этапы 118, 119, 121 и 123 могут быть реализованы посредством осуществления записи разговора между пользователем и человеком с использованием микрофона 18 в мобильном устройстве 4, разделяя его на части предварительно определенной длины (например, 5 секунд) и анализируя части для определения, ухудшается ли эмоциональное состояние пользователя со временем (то есть пользователь становится подвергнутым стрессу). Анализ разговора может содержать извлечение параметров, включающих в себя энергию, отношение беззвучия к звучанию, диапазон тоновых частот и среднюю тоновую частоту, и вычисление того, как они смещаются со временем, и пересекают ли они эвристическую пороговую величину, которая может быть основана на пользовательских данных, собранных в течение пробного периода. Например, если энергия, отношение беззвучия к звучанию и диапазон тоновых частот увеличиваются в большом количестве, то существует высокая вероятность того, что пользователь становится подверженным стрессу, и системой 2 должна быть обеспечена помощь пользователю. В дополнение, анализ может обнаружить паузы в разговоре, поскольку длинная пауза может указывать на прерывание при взаимодействии из-за неспособности пользователя обработать вопрос или помнить событие или действие.

Таким образом, предлагается способ, который оказывает помощь пользователю (которой имеет AD или другое ухудшение памяти) для узнавания человека, с которым он общается, уменьшая первоначальное смущение для пользователя и помогая предотвратить переход недостатка памяти пользователя в стресс в течение взаимодействия. Способ также предусматривает наблюдение за пользователем в течение взаимодействия для определения, требуется ли дополнительная поддержка. В дополнение, способ может обеспечить обратную связь с человеком, с которым взаимодействует пользователь, которая позволяет человеку адаптировать манеру, в которой он взаимодействуют с пользователем.

В качестве модификации к вышеупомянутому способу, обратная связь может также обеспечиваться человеку, с которым взаимодействует пользователь, когда пользователь узнал его и когда не определено, что пользователь является подверженным стрессу (то есть после этапов 103 и 119). Там, где обратная связь, обеспеченная пользователю на этапах 115 и 123, обеспечивается посредством компонента для отображения конкретного цвета, различные цвета могут использоваться для указания различных эмоциональных состояний пользователя. Например, если красное отображение указывает, что пользователь не узнал человека или подвержен стрессу, то зеленое отображение может использоваться для указания, что пользователь узнал человека или не подвержен стрессу.

Другая модификация вышеуказанного способа может состоять в определении, узнает ли пользователь человека вслед за представлением информации пользователю на этапе 113. В данном случае способ может вернуться к этапу 101 после представления информации на этапе 113.

Еще одна модификация вышеуказанного способа может состоять в определении, помнит или понимает ли пользователь цель (контекст) взаимодействия с человеком (например, чтобы обсудить свое текущее медицинское состояние, необходимую общую помощь и т.д.) после того, как человек был узнан на этапе 103, или контекст взаимодействия, определенный автоматически системой 2 на этапе 117. В одном варианте осуществления данное определение может быть осуществлено сходным образом с определением того, узнает ли пользователь человека, с которым он взаимодействует, на этапе 101 (например, посредством спрашивания пользователя непосредственно, наблюдения за физиологическими характеристиками и/или анализа речи в начале взаимодействия). Если определено, что пользователь не помнит или не понимает цели взаимодействия с человеком, система 2 может обеспечить подходящую информацию пользователю, например, как на этапе 121, и/или человеку, например, как на этапе 123. Аналогичным образом, система 2 может определить, следует и понимает ли пользователь разговор, пока взаимодействие развивается, и обеспечить соответствующую поддержку по необходимости. Данная модификация обсуждается более подробно ниже со ссылкой на Фиг. 5.

Дополнительная модификация вышеуказанного способа может состоять в наблюдении за эмоциональным состоянием человека, с которым пользователь взаимодействует (например, посредством анализа речи человека, записанной посредством микрофона 18 в мобильном устройстве 4), и использовании результата данного наблюдения для адаптации информации, обеспечиваемой пользователю, и/или обратной связи, обеспечиваемой человеку.

Если обнаруживается, что пользователь не реагирует на человека (например, потому что он не узнает его или причину взаимодействия), система 2 может уведомить или предупредить медицинского работника о ситуации.

Кроме того возможно, что система 2 обрабатывает выходные сигналы физиологических датчиков 24 для определения, находятся ли основные показатели жизнедеятельности пользователя (например, частота сердцебиения, изменчивость частоты сердцебиения, кровяное давление и т.д.) внутри обычных диапазонов, и если нет, то медицинский работник может быть проинформирован или предупрежден об этом.

В дополнительном варианте осуществления изобретения, для того чтобы обновить кратковременную память пользователя касаемо предыдущего взаимодействия или взаимодействия, которое было только что закончено, система 2 обеспечивает информацию пользователю относительно этого взаимодействия. Информация может также преимущественно использоваться медицинским работником или сиделкой для помощи в обучении и улучшении памяти пользователя, тем самым задерживая развитие AD.

Блок-схема последовательности операций способа согласно данному варианту осуществления изобретения показана на Фиг. 4. На этапе 131 мобильное устройство 4 собирает аудиоданные и/или видеоданные в течение взаимодействия между пользователем и человеком.

Мобильное устройство 4 отправляет эти данные в базовый блок 10 для обработки в то время, как они собираются, или альтернативно после того, как взаимодействие закончилось (что может быть определено, например, посредством обнаружения того, что человек больше не стоит лицом к лицу или около пользователя, и/или что микрофон 18 не обнаруживает речи пользователя дольше предварительно определенного промежутка времени).

В качестве дополнительной возможности на этапе 133 система 2 может также собирать информацию об эмоциональном состоянии пользователя в течение взаимодействия (например, используя физиологический датчик (датчики) 24 или анализ речи пользователя, как описано выше).

Процессор 28 в базовом блоке 10 принимает аудиоданные и/или видеоданные от мобильного устройства 4 и в качестве дополнительной возможности информацию об эмоциональном состоянии пользователя в течение взаимодействия и исполняет алгоритм над данными для генерирования сводки взаимодействия между пользователем и человеком (этап 135). Данный алгоритм может включать в себя алгоритм распознавания речи для преобразования речи в данных в текст, алгоритм распознавания содержимого (например, алгоритм обработки естественного языка) для определения значения произнесенных слов и алгоритм для извлечения и составления сводки важных моментов взаимодействия. Сводка должна включать в себя информацию о взаимодействии, такую как вовлеченный человек, затронутые темы, какие-либо предписанные команды (например, сиделкой), время и дата взаимодействия и т.д. Информация об эмоциональном состоянии пользователя может использоваться для адаптации информации, которую следует включить в состав сводки. Например, там, где процессор 28 идентифицирует, что пользователь имел затруднения, вспоминая конкретное событие, или реакцию (указанную посредством сравнения информации об эмоциональном состоянии с аудиоданными и/или видеоданными), информация о событии или необходимая реакция могут быть включены в состав сводки.

На этапе 136, информация об эмоциональном состоянии пользователя, и в качестве дополнительной возможности другая информация, относящаяся к взаимодействию (например, вовлеченные люди, темы разговора и т.д.), может храниться в памяти 30 базового блока 10 для последующего обзора и использования сиделкой.

Затем сводка (которая может быть в текстовом, аудио- и/или видеоформате) передается в мобильное устройство 4, которое представляет ее пользователю с использованием компонента 14 для визуального отображения и/или громкоговорителя 16 по обстоятельствам (этап 137). Мобильное устройство 4 может представлять сводку пользователю непосредственно после завершения взаимодействия или через предварительно определенное время после завершения взаимодействия, или в предварительно определенное время суток. Мобильное устройство 4 может также включать в себя некоторое средство для привлечения внимания пользователя в подходящее время перед представлением сводки пользователю. Данное средство может включать в себя вибрацию мобильного устройства 4 (и изменение частоты и/или интенсивности вибрации), генерирование аудиоуказания и/или визуального указания.

Данный способ позволяет пользователю просматривать и вспоминать взаимодействие после того, как взаимодействие закончено, что помогает улучшить его память. Это также позволяет медицинскому работнику просматривать взаимодействия пользователя для того, чтобы оценить прогресс пользователя и конкретные вещи или людей, при вспоминании которых пользователь испытывает затруднения. В дополнение информация, извлеченная из сводки предыдущих взаимодействий, может использоваться для влияния на решение о том, обеспечивать ли поддержку пользователю в течение последующих взаимодействий.

Поскольку система 2 предназначена для оказания помощи людям с ухудшениями памяти, сгенерированная сводка должна быть простой для понимания и следования. Речь в сводке должна состоять из относительно коротких предложений, которые грамматически сформированы так, чтобы им было легко следовать (например, люди с AD в целом не способны обрабатывать местоимения, так что предложение должно быть структурировано так, чтобы избегать или минимизировать их использование). В дополнение скорость речи должна быть относительно медленной, и сама речь должна быть громкой и понятной. В дополнение к речи/аудиоданным сводка может также включать в себя другой мультимедийный контент (например, изображения, видео), которые записываются в течение разговора. Медицинский работник может выбрать речевые характеристики (скорость, громкость, тип, тон, спектральную окраску и т.д.) и мультимедийный контент (тип, продолжительность, размер и т.д.), которые должны использоваться при генерировании сводки, так как медицинский работник знает потребности пользователя.

В некоторых вариантах осуществления сводки, предоставляемые пользователю и медицинскому работнику или доктору, могут быть разными. Например, сводка для медицинского работника или доктора имеет целью захватить максимально возможное количество данных о взаимодействии, так чтобы медицинский работник был проинформирован о пользователе (например, о способности пользователя общаться и взаимодействовать, о его здоровье и эмоциях, о его ежедневном планировании и повседневной жизни). В дополнение к взаимодействию (речь, изображения или видео) данные сводки могут также включать в себя данные от физиологических датчиков и информацию, показывающую эмоциональное состояние пользователя.

В некоторых вариантах осуществления сиделка может регулировать функционирование мобильного устройства 4 (возможно через базовый блок 10 или другую удаленную станцию). Сиделка может иметь возможность регулировать необязательные возможности визуализации (то есть тип и/или содержимое визуального выходного сигнала), предоставляемые мобильным устройством 4, настройки уровня громкости, оповещения для пользователя и человека, с которым взаимодействует пользователь, которые могут быть приведены в действие мобильным устройством 4, планирование пользователя или календарь (например, сиделка может добавить новые встречи для пользователя, дополнительную информацию о существующих встречах, вовлеченных людях, цели или назначении встречи и т.д.), и приводить в действие или отключать некоторые функции внутри системы 2 (такие как измерение эмоциональной реакции пользователя и/или человека, генерирование сводки взаимодействия и т.д.).

На Фиг. 5 изображено некоторое количество модулей, используемых для наблюдения и обеспечения поддержки пользователю в течение взаимодействие согласно одному варианту осуществления изобретения. Действие данных модулей в целом соответствует этапам 117-123 на Фиг. 2, и они стремятся наблюдать за взаимодействием посредством слежения за тем, способен ли пользователь понять и ответить человеку, с которым он взаимодействует. Наблюдение осуществляется посредством одновременного анализа различных аспектов речи и физиологических сигналов пользователя, как описано ниже. Информация, извлеченная из каждого из модулей, объединяется для определения того, необходимо ли оказывать поддержку пользователю или нет.

Речь пользователя, записанная посредством микрофона 18, вводится в модуль 42 анализа параметров речи и модуль 44 анализа эмоции, и модуль 46 распознавания речи. Речь человека, с которым взаимодействует пользователь, также вводится в модуль 46 распознавания речи.

Модуль 42 параметров речи исследует речь пользователя для определения, происходят ли длинная тишина, сомнения, изменения в дыхании, изменения в качестве речи и перерывы в разговоре в течение взаимодействие. Эти характеристики могут указывать, что пользователь не способен следовать за разговором. Выход данного модуля 42 обозначен как B1 на Фиг. 5.

Модуль 44 анализа эмоции исследует речь пользователя для определения его эмоции. Если параметры речи (такие как тон, скорость, энергия, спектральные характеристики, тишина, продолжительность предложения, дыхание и/или громкость) указывают отклонение от нормального (обычного) состояния пользователя, это может указывать, что поддержка является полезной. Данный модуль 44 может использоваться для построения вероятностной модели нормального состояния пользователя и потом периодической проверки, соответствуют ли параметры речи в течение последующих взаимодействий модели или нет. Выход данного модуля 44 обозначен как B2 на Фиг. 5.

Модуль 46 распознавания речи обрабатывает речь пользователя и человека и преобразовывает распознанную речь в текст. Данный текст впоследствии анализируется посредством механизма 48 обработки естественного языка для определения, является ли значимым и благотворным разговор (диалог) в течение взаимодействия, и присутствуют ли слова или фразы, которые могут указывать, что требуется поддержка. Выход данного модуля 48 обозначен как B3 на Фиг. 5.

В дополнение, текст обрабатывается модулем 50 извлечения контекста и темы для идентификации значимых слов, чтобы восстановить тему и контекст разговора. Затем информация используется для адаптации поддержки, оказываемой пользователю, чтобы он знал контекст и таким образом был более эффективным. Выход данного модуля 50 обозначается C1 на Фиг. 5.

В дополнение к анализу речи обеспечивается модуль 52 анализа физиологических данных, который принимает сигналы от датчика (датчиков) 24 физиологических характеристик, который находится в или связан с мобильным устройством 4, и определяет физиологическую реакцию пользователя на и в течение взаимодействия. Реакции также используются для наблюдения за взаимодействием и определением, необходима ли поддержка. Например, посредством использования носимых датчиков 24 физиологических характеристик (которые переносят информацию в мобильное устройство 4) могут быть измерены частота сердцебиения пользователя, изменчивость частоты сердцебиения, проводимость кожи, температура кожи и типы дыхания. Состояние стресса или расслабления пользователя могут быть определены по данным физиологических датчиков. Выход данного модуля 50 обозначен как B4 на Фиг. 5.

Выходы модулей 42, 44, 48 и 52 обеспечиваются в модуль 54 взвешивания и вынесения вероятностного решения и модуль 56 идентификации проблем. Выход от модуля 50 извлечения контекста и темы обеспечивается в модуль 58 поиска и извлечения. Модуль 58 поиска и извлечения сопряжен с двумя базами 60, 62 данных, которые хранят информацию о возможных проблемах общения, которые может иметь (база 60 данных) пользователь, и информацию о том, как каждую проблему следует поддерживать (база 62 данных).

Модуль 54 взвешивания и вынесения вероятностного решения обрабатывает информацию от модулей 42, 44, 48 и 52 и определяет, требуется ли пользователю поддержка в течение взаимодействия. Если определено, что не требуется никакой поддержки, система 2 позволяет продолжать взаимодействие без вмешательства для обеспечения поддержки пользователю. Если, однако, определено, что поддержка требуется, модуль 56 идентификации проблем приводится в действие и получает информацию о проблеме, которую имеет пользователь, из базы 60 данных через модуль 58 поиска и извлечения.

После того, как проблема идентифицирована, модуль 64 идентификации поддержки используется для определения конкретной поддержки, которая должна быть обеспечена пользователю. Модуль 64 идентификации поддержки использует идентифицированную проблему, выход C1 от модуля 50 извлечения контекста и темы и информацию, сохраненную в базе 62 данных для определения необходимой поддержки. База 62 данных может хранить информацию о поддержке, которую следует обеспечивать относительно возможных проблем, которые может иметь пользователь в течение взаимодействие, в форме таблицы поиска. Как только необходимая поддержка идентифицирована, пользователю обеспечивается поддержка.

Например, если посредством наблюдения за взаимодействием определено, что пользователь не способен узнать человека, то проигрывается видео, показывающее предыдущие встречи пользователя с человеком; если цель посещения не узнается пользователем, то это снова обеспечивается визуально; если обнаружено, что пользователь является сердитым, то человеку можно сообщить об этом; если обнаружено, что пользователь устал, то человеку можно сообщить об этом, и он соответственно может завершить разговор. Одним словом, для каждого исхода или проблемы, которые могут появиться на стадии наблюдения, существует путь обеспечения поддержки, которому необходимо следовать.

В предпочтительном варианте осуществления функциональность каждого из модулей, показанных на Фиг. 5, обеспечивается посредством процессора 28 в базовом блоке 10.

Конкретный вариант осуществления наблюдения за взаимодействием и поддержки согласно изобретению показан на блок-схеме последовательности операций способа на Фиг. 6. Данная блок-схема последовательности операций способа предназначена для изображения возможной модели социального взаимодействия, в которой два человека сближаются, они приветствуют друг друга, пользователь вспоминает причину, почему они решили встретиться, и они начинают взаимодействовать. Все эти действия тривиальны для здоровых людей, однако человек с ухудшением памяти и познавательных способностей может иметь серьезные проблемы при выполнении этих действий, накапливая стресс и изолируя себя. В случае, когда пользователь помнит задание, которое следует выполнить, но не узнает человека перед собой, мобильное устройство 4 оповещает человека том, что должно быть сделано для оказания помощи. Затем устройство 4 показывает пользователю информацию в форме видео о человеке или, при наличии, о пользователе и человеке вместе для пробуждения его памяти. В случае, когда пользователь не помнит либо человека, либо причины посещения, мобильное устройство 4 переключается в режим полной поддержки. В данном режиме человек уведомляется о ситуации, и информация представляется пользователю о человеке и о задании, которое следует выполнить.

Таким образом, в течение этапа узнавания человека, выполняется распознавание лица и голоса (обозначенные 150 и 152 соответственно) для человека, с которым пользователь собирается взаимодействовать или уже начал взаимодействовать. Этап узнавания человека также использует список встреч для пользователя, который хранится в базе данных (например, базе 31 данных в базовом блоке 10), со списком встреч, указывающим человека, ожидаемого для взаимодействия с пользователем.

Если человек, идентифицированный посредством распознавания лица и голоса, не соответствует (154) ожидаемому человеку (согласно информации в списке встреч), мобильное устройство 4 осуществляет связь с человеком (156), чтобы понять, был ли результат распознавания правильным или неправильным. На этапе 156, человека можно попросить подтвердить свое имя, которое будет записано посредством микрофона 18, и речь будет проанализирована для извлечения произнесенного имени. Если результат распознавания был неправильным, и человек является ожидаемым человеком, система 2 переходит к этапу распознавания задания/взаимодействия (168 далее).

Если результат распознавания был правильным, и человек не является человеком, с которым запланировано взаимодействие с пользователем в это время, система 2 определяет (160), является ли причина посещения то же самой, что и ожидаемая (например, другая медсестра по отношению к запланированной медсестре могла быть отправлена, чтобы доставить препараты), либо находится ли он там по другой причине. На этапе 160 мобильное устройство 4 может спросить человека о цели его посещения, и для понимания ответа может использоваться алгоритм распознавания речи. Если причина посещения отличается от запланированной причины, мобильное устройство 4 уведомляет пользователя о новом взаимодействии (164) и создает новое событие в списке встреч (166).

Если причина посещения является той же самой, которая запланирована (но с другим, известным человеком) или если человек является человеком, ожидаемым для взаимодействия (из этапа 158), мобильное устройство 4 уведомляет пользователя о запланированном взаимодействии (168). Если пользователь не помнит и/или не понимает причину взаимодействия (170) (а также человека, так как он не является человеком, планируемым для взаимодействия с пользователем), пользователь считается не реагирующим (172), и мобильное устройство 4 обеспечивает информацию о цели взаимодействия и личности человека пользователю (174). Медицинский работник для пользователя может также быть предупрежден, что пациент не реагирует.

Если пользователь действительно помнит цель посещения/взаимодействия (170), пользователь считается частично реагирующим (176), и информация о личности человека обеспечивается пользователю посредством мобильного устройства 4 (178).

Если на этапе 154 результат распознавания лица и голоса соответствует ожидаемому человеку, то определяется, узнает ли пользователь его (180). Это может быть сделано посредством проигрывания аудиосообщения пользователю, спрашивая его, узнает ли он человека. Алгоритм обработки речи может использоваться для интерпретации ответа, произнесенного пользователем. Если пользователь действительно узнает человека, то можно полагать, что пользователь является реагирующим (184), и никакая поддержка не требуется в данное время. Затем система 2 может позволить разговору начаться (186) без необходимости обеспечения какой-либо поддержки пользователю или обратной связи с человеком.

Затем устройство 4 входит в режим поддержки разговора, где оно записывает разговор и обеспечивает обратную связь, если ухудшения памяти пользователя блокируют ход разговора.

Если пользователь не узнает человека (182), то определяется, узнает ли пользователь причину посещения даже притом, что он не узнает человека (168). Затем система 2 функционирует, как описано выше (170-178).

Таким образом обеспечивается способ и система для оказания помощи человеку, имеющему ухудшения памяти, при социальных взаимодействиях.

В то время как изобретение было изображено и описано подробно на чертежах и в предшествующем описании, такую иллюстрацию и описание нужно считать иллюстративными или примерными, а не ограничительными; изобретение не ограничивается раскрытыми вариантами осуществления.

Изменения к раскрытым вариантам осуществления могут быть поняты и реализованы специалистами в уровне техники при осуществлении заявляемого изобретения, исходя из изучения чертежей, раскрытия и прилагаемой формулы изобретения. В формуле изобретения слово «содержит» не исключает других элементов или этапов, а слова, упоминаемые в единственном числе, не исключают множества. Одиночный процессор или другой блок могут выполнять функции нескольких элементов, изложенных в формуле изобретения. Простой факт того, что некоторые критерии излагаются во взаимно различающихся зависимых пунктах формулы изобретения, не указывает на то, что объединение этих критериев не может использоваться для получения преимущества. Компьютерная программа может храниться/распространяться на подходящем носителе, таком как оптический носитель хранения информации или твердотельный носитель, поставляемый вместе с или в качестве части других аппаратных средств, но также может распространяться в других формах, например, через Интернет или другие проводные или беспроводные телекоммуникационные системы. Любые ссылочные обозначения в формуле изобретения не должны рассматриваться, как накладывающие ограничения на объем.

Группа изобретений относится к медицинской технике, а именно к средствам оказания помощи людям, имеющим ухудшение памяти в социальных взаимодействиях. Система сконфигурирована с возможностью определения, узнает ли пользователь человека и, если определено, что пользователь не узнает человека, обеспечения информации пользователю о человеке, и содержит один или более датчиков для измерения физиологических характеристик пользователя, при этом система сконфигурирована с возможностью определения эмоционального состояния пользователя на основе измеренных физиологических характеристик, и узнает ли пользователь человека посредством определения эмоционального состояния пользователя. Способ использования системы состоит в измерении с помощью датчиков физиологических характеристик пользователя, взаимодействующего с человеком, определении эмоционального состояния пользователя на основе измерений физиологических характеристик и определении, узнает ли пользователь человека на основании определенного эмоционального состояние пользователя, при этом, если определено, что пользователь не узнает человека, обеспечивают информацию пользователю о человеке. При осуществлении способа используется считываемый компьютером носитель. Во втором варианте осуществления способа осуществляют этапы, на которых измеренные физиологические характеристики передают в базовую станцию, которая устанавливает соответствие физиологических характеристик с уровнем стресса, принимают сигнал из приемопередатчика базовой станции, указывающий уровень стресса, определяют, с помощью процессора, что пользователь не узнает человека на основании уровня стресса, идентифицируют человека, с помощью процессора, обеспечивают информацию о человеке и сохраняют в памяти для пользователя, так что пользователь узнает человека. Использование изобретений позволяет улучшить возможности социального взаимодействия для людей, имеющих ухудшение памяти. 4 н. и 24 з.п. ф-лы, 6 ил.

1. Система для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, причем система сконфигурирована с возможностью определения, узнает ли пользователь человека и, если определено, что пользователь не узнает человека, обеспечения информации пользователю о человеке,

при этом система содержит один или более датчиков для измерения физиологических характеристик пользователя, и причем система сконфигурирована с возможностью определения эмоционального состояния пользователя на основе измеренных физиологических характеристик, и причем система сконфигурирована с возможностью определения, узнает ли пользователь человека посредством определения эмоционального состояния пользователя.

2. Система по п. 1, причем система дополнительно сконфигурирована с возможностью определения, узнает ли пользователь человека посредством (i) проигрывания аудио и/или видео сообщения и наблюдения за реакцией пользователя на сообщение или (ii) использования алгоритма распознавания речи для анализа речи пользователя и/или человека в течение взаимодействия.

3. Система по п. 1 или 2, причем система сконфигурирована с возможностью определения эмоционального состояния пользователя посредством анализа речи пользователя в течение взаимодействия.

4. Система по п. 1 или 2, причем система содержит:

средство захвата изображения для захвата изображения или последовательности изображений человека;

процессор для применения алгоритма распознавания лиц к захваченному изображению, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

5. Система по п. 1 или 2, причем система дополнительно сконфигурирована с возможностью обеспечения информации человеку, если определено, что пользователь не узнает человека, при этом информация указывает человеку, что пользователь не узнает его.

6. Система по п. 1 или 2, причем система содержит:

микрофон для записи речи человека в течение взаимодействия;

процессор для обработки записанной речи с использованием алгоритма распознавания голоса, чтобы идентифицировать человека, и для получения информации об идентифицированном человеке; и

пользовательский интерфейс для представления информации, полученной об идентифицированном человеке, пользователю, если определено, что пользователь не узнает человека.

7. Система по п. 1 или 2, причем система дополнительно сконфигурирована с возможностью определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и, если определено, что пользователь не помнит или не понимает цели взаимодействия, система сконфигурирована с возможностью обеспечения информации пользователю о цели взаимодействия.

8. Способ для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, при этом способ содержит этапы, на которых:

измеряют с помощью датчиков для измерения физиологические характеристики пользователя, взаимодействующего с человеком,

определяют эмоциональное состояние пользователя на основе измеренных физиологических характеристик;

определяют, узнает ли пользователь человека посредством того, что определяют эмоциональное состояние пользователя; и

если определено, что пользователь не узнает человека, обеспечивают информацию пользователю о человеке.

9. Способ по п. 8, причем способ дополнительно содержит этапы, на которых:

записывают речь в течение взаимодействия между пользователем и человеком;

при определении, что взаимодействие завершено, генерируют сводку взаимодействия для пользователя; и

обеспечивают сводку в пользовательский интерфейс для представления пользователю.

10. Способ по п. 9, причем способ дополнительно содержит этапы, на которых:

определяют эмоциональное состояние пользователя в течение взаимодействия, и

генерируют сводку взаимодействия для пользователя на основе записанной речи и определенного эмоционального состояния.

11. Способ по п. 9 или 10, причем способ дополнительно содержит этапы, на которых:

определяют, помнит или понимает ли пользователь цель взаимодействия с человеком; и

если определено, что пользователь не помнит или не понимает цели взаимодействия, обеспечивают информацию пользователю о цели взаимодействия.

12. Способ по любому из пп. 8-10, причем способ дополнительно содержит этапы, на которых:

наблюдают за взаимодействием для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие; и

если определено, что пользователь не следует или не понимает взаимодействие, обеспечивают информацию пользователю о взаимодействии.

13. Способ по п. 12, причем способ содержит этап, на котором определяют контекст взаимодействия так, чтобы особая для контекста информация могла быть обеспечена пользователю о взаимодействии, если определено, что пользователь не следует или не понимает взаимодействие.

14. Способ по п. 11, причем способ дополнительно содержит этап, на котором наблюдают за (i) речью пользователя для определения, способен ли пользователь начать и следовать за взаимодействием; (ii) речью пользователя для определения эмоционального состояния пользователя; (iii) речью, как пользователя, так и человека для определения контекста взаимодействия и текущего диалога; и/или (iv) физиологической реакцией пользователя в течение взаимодействия для определения, помнит или понимает ли пользователь цель взаимодействия с человеком, и/или для определения, следует и понимает ли пользователь взаимодействие, пока развивается взаимодействие.

15. Считываемый компьютером носитель для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, имеющий компьютерную программу, сохраненную на нем, содержащую считываемый компьютером код, сконфигурированный так, что, при исполнении посредством подходящего компьютера или процессора, компьютер или процессор выполняет способ по любому из пп. 8-14.

16. Способ для использования при оказании помощи пользователю при социальном взаимодействии с другим человеком, при этом способ содержит этапы, на которых:

измеряют, с помощью датчиков мобильного устройства, физиологические характеристики пользователя, взаимодействующего с человеком,

передают физиологические характеристики в базовую станцию, которая устанавливает соответствие физиологических характеристик с уровнем стресса;

принимают сигнал из приемопередатчика базовой станции, указывающий уровень стресса;

определяют, с помощью процессора, что пользователь не узнает человека на основании уровня стресса;

идентифицируют человека, с помощью процессора; и обеспечивают, с помощью процессора, информацию о человеке и сохраняют в памяти для пользователя, так что пользователь узнает человека.

17. Способ по п. 16, в котором определение того, что пользователь не узнает человека, содержит этап, на котором анализируют взаимодействие во времени для обнаружения того, увеличивается ли уровень стресса со временем.

18. Способ по п. 16, в котором определение того, что пользователь не узнает человека, содержит этап, на котором обнаруживают паузу во взаимодействии в силу неспособности пользователя обработать вопрос или запомнить событие или действие.

19. Способ по п. 16, в котором сигнал включает в себя вероятностное значение, указывающее степень надежности уровня стресса.

20. Способ по п. 16, в котором физиологическая характеристика состоит в группе, состоящей из частоты сердцебиения пользователя, проводимости кожи, температуры кожи и частоты дыхания или потоотделения.

21. Способ по п. 16, в котором установление соответствия физиологических характеристик содержит этап, на котором характеризуют физиологические характеристики как счастье в целом, закодированное как положительная, нейтральная или отрицательная, и интенсивность, закодированная как взволнованная, нейтральная или спокойная.

22. Способ по п. 16, дополнительно содержащий этап, на котором определяют контекст взаимодействия, основанный на взаимодействии.

23. Способ по п. 22, в котором взаимодействие представляет собой событие, планируемое в электронном календаре, и дополнительно содержит этап, на котором определяют контекст взаимодействия на основании записи в электронном календаре.

24. Способ по п. 23, причем запись служит для медицинского осмотра и дополнительно содержит этап, на котором определяют контекст взаимодействия на основании медицинского осмотра.

25. Способ по п. 16, в котором идентификация человека содержит этап, на котором идентифицируют человека с помощью технологии распознавания лиц.

26. Способ по п. 16, в котором идентификация человека содержит этап, на котором идентифицируют человека с помощью технологии распознавания голоса.

27. Способ по п. 16, в котором предоставление информации содержит этап, на котором визуально отображают информацию через монитор дисплея.

28. Способ по п. 16, в котором предоставление информации содержит этап, на котором осуществляют аудиопредставление информации через громкоговоритель.