ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к программе и системе обработки информации.

УРОВЕНЬ ТЕХНИКИ

[0002] Психологический стресс или нервно-психическое напряжение без сомнения в некоторой степени влияет на здоровье человека в современном мире. Увеличение стресса может вызвать сильные эмоциональные взлеты и падения и даже физические расстройства, такие как усталость, потеря аппетита, лихорадка или бессонница, сопровождаемые, в этом случае, заболеваниями, ухудшающими качество жизни, такими как ожирение и диабет. Если такое эмоциональное состояние не лечить, может развиться психическое расстройство, как правило представленное депрессией. Соответственно, в последние годы все более пропагандируется важность психиатрической помощи, и не только каждый индивид должен управлять своим стрессом, но также и различные организации должны понимать и должным образом управлять уровнем стресса у соответствующих сотрудников.

[0003] Например, в патентном документе 1 в качестве средства оценки уровня стресса у человека описано измерительное устройство, которое анализирует комбинацию вызванных стрессом переменных в информации о частоте сердечных сокращений и дыхании. Кроме того, также предложены способы оценки состояния стресса (депрессии) с использованием состояния экспрессии генов, связанных со стрессом, и/или изменения концентрации конкретной аминокислоты в крови (патентные документы 2 и 3).

[0004] При чрезмерном стрессе увеличивается величина секреции кортизола, который является гормоном, секретируемым из коры надпочечников, и который также называется гормоном стресса. Предпринимаются попытки измерить уровень стресса на основании концентрации кортизола в биологических жидкостях организма, таких как кровь, моча и слюна, и сообщается, что концентрация кортизола, особенно в слюне, более точно отражает уровень стресса (непатентные документы 1 и 2). Кроме того, также предложено устройство, способное снизить нагрузку на пациента при отборе пробы для измерения концентрации кортизола в биологической жидкости организма (патентный документ 4).

[0005] Однако традиционные методы, описанные выше, не являются широко распространенными для повседневного управления стрессом, потому что необходимо приобрести конкретное устройство для измерения стресса, а для получения пробы для фактического измерения неизбежна инвазивная процедура, например, включающая забор крови.

[0006] Распространено мнение, что выражение лица меняется или появляется гримаса при большом количестве стрессов. По общему признанию, когда сохраняется состояние высокого напряжения из-за стресса, мышцы, отвечающие за выражения лица (мимические мышцы), становятся напряженными, что может привести к такому явлению, как застывшее (напряженное) выражение лица. Однако до сих пор не существует никакого технологического примера, количественно связывающего изменение лица (выражения и т.п.) и стресс друг с другом.

Документы предшествующего уровня техники

Патентная литература

[0007]

PTL 1: выложенная заявка на патент Японии №2010-234000

PTL 2: выложенная заявка на патент Японии №2013-110969

PTL 3: заявка на патент Японии №5856364

PTL 4: выложенная заявка на патент Японии №2012-251857

Непатентная литература

[0008]

NPL 1: Ross F. Vining и др., Ann. Clin. Biochem, Vol. 20, PP. 329-335 (1983)

NPL 2: J. Gonzalez-Cabrera и др., STRESS: The International Journal on the Biology of Stress, Vol. 17, Issue 2, pp. 149-156 (2014)

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническая проблема

[0009] В свете предшествующего уровня техники, описанного выше, целью настоящего изобретения является обеспечение программы, способной оценивать уровень стресса у пациента простым и неинвазивным образом.

Решение проблемы

[0010] В ходе проверки влияния стресса на разум и тело человека авторы настоящего изобретения сфокусировались на корреляции между изменениями лица (выражения лица и т.п.) пациента и его стрессом и выполнили интенсивные исследования. В результате было найдено, что стресс у пациента влияет на перекошенность правой стороны лица относительно левой стороны лица и действия (движения) для позиционирования прямо в направлении устройства формирования изображения и т.п. В результате авторы изобретения впервые обнаружили, что может быть получен показатель, позволяющий количественно оценивать уровень стресса наряду с хорошо воспроизводимыми результатами, путем применения параметров, полученных посредством обработки изображения лица пациента, полученного при постоянном условии, в результате чего было получено настоящее изобретение.

[0011] А именно, настоящее изобретение обеспечивает программу, предписывающую компьютеру функционировать как средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении, средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения, средство инструктирования для предоставления пользователю инструкции захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения, средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений множества характерных точек на изображении лица, вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений множества характерных точек, извлеченных средством извлечения, и средство вывода для вывода значения, служащего показателем стресса, вычисленного средством вычисления, при этом средство вычисления вычисляет в качестве значения, служащего показателем стресса, значение, представляющее собой перекошенность лица, по множеству характерных точек, полученных из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица.

[Эффект изобретения]

[0012] Программа в соответствии с настоящим изобретением может оценивать стресс у пациента полностью неинвазивным образом, не требуя пробы жидкости организма, такой как кровь, или специальное устройство для измерения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0013]

Фиг. 1 является схематическим чертежом процедурного способа настоящего изобретения, включающим в себя извлечение характерных точек из изображения лица, полученного, когда пациент имеет максимальный уровень улыбки, и вычисление значения для показателя стресса с помощью характерных точек.

Фиг. 2 является схематическим чертежом процедурного способа согласно настоящему изобретению, включающим в себя извлечение характерных точек из изображения лица, полученного, когда пациент находится в нормальном (серьезном) состоянии, и вычисление значения в качестве показателя стресса по характерным точкам.

Фиг. 3 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии с первым аспектом (пример 1) настоящего изобретения.

Фиг. 4 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии со вторым аспектом (пример 2) настоящего изобретения.

Фиг. 5 является графиком, показывающим корреляцию между значением показателя стресса пациента и концентрацией кортизола в слюне пациента в соответствии с третьим аспектом (пример 3) настоящего изобретения.

Фиг. 6А является схемой конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления.

Фиг. 6B является схемой конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления.

Фиг. 7А является схемой конфигурации аппаратного обеспечения примера компьютера.

Фиг. 7B является схемой конфигурации аппаратного обеспечения примера компьютера.

Фиг. 8 является схемой конфигурации аппаратного обеспечения примера компьютера.

Фиг. 9 является функциональной блок-схемой примера устройства обработки информации в соответствии с настоящим вариантом осуществления.

Фиг. 10 является блок-схемой последовательности операций примера общего процесса устройства обработки информации в соответствии с настоящим вариантом осуществления.

Фиг. 11 является блок-схемой последовательности операций примера процесса позиционирования лица.

Фиг. 12 является иллюстративным изображением экрана приложения диагностики стресса во время процесса позиционирования лица.

Фиг. 13 является блок-схемой последовательности операций примера процесса сбора данных.

Фиг. 14 является иллюстративным изображением экрана приложения диагностики стресса во время процесса сбора данных.

Фиг. 15 является иллюстративным изображением экрана приложения диагностики стресса, когда лицо пациента маскируется.

Фиг. 16 является блок-схемой последовательности операций примера процесса анализа данных.

Фиг. 17А является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при максимальном уровне улыбки.

Фиг. 17B является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при минимальном уровне улыбки.

Фиг. 18 является блок-схемой последовательности операций примера процесса вывода отчета.

Фиг. 19 является иллюстративным изображением экрана приложения диагностики стресса во время отображения общего отчета.

Фиг. 20 является иллюстративным изображением экрана опроса.

Фиг. 21 является иллюстративным изображением экрана для отображения результата диагностики стресса на основании анализа изображения лица и результата диагностики стресса на основании опроса.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0014] [Первый вариант осуществления]

Коротко говоря, метод оценки стресса настоящего изобретения содержит следующие шаги с (1) по (4):

(1) этап предоставления пациенту инструкции;

(2) этап визуализации лица пациента с помощью устройства визуализации;

(3) этап обработки полученного изображения лица для получения параметра, отражающего стресс; и

(4) этап вычисления значения показателя стресса с помощью параметра, полученного на этапе (3) (обработка изображения).

[0015] В первом аспекте способа настоящего изобретения на этапе (1) пациента инструктируют принять положение прямо, лицом к устройству визуализации, с максимальным уровнем улыбки. В ответ на эту инструкцию пациент перемещается в положение прямо, лицом к устройству визуализации, чтобы быть лицом к устройству визуализации, и принимает выражение лица с максимальной улыбкой (далее называемое максимальным уровнем улыбки).

[0016] Инструкция на этапе (1) может включать в себя не только инструкцию принять положение лицом к устройству визуализации с максимальным уровнем улыбки, но также и инструкцию поместить изображение в определенное место и инструкцию не двигать лицо, пока получение изображения на этапе (2) не будет завершено.

[0017] Затем на этапе (2) лицо пациента отображается с использованием устройства визуализации. Желательно, чтобы полученное изображение лица было сохранено в запоминающем устройстве, соединенном с устройством визуализации.

[0018] Затем, на этапе (3), полученное изображение лица обрабатывается. Способ обработки изображения будет описан со ссылкой на фиг. 1.

[0019] (3-1) Сначала идентифицируются местоположения внешнего угла (a1) глаза и угла (b1) рта с одной стороны и внешнего угла (a2) другого глаза и противоположного угла (b2) рта с другой стороны в качестве характерных точек на изображении лица.

[0020] На фиг. 1 для удобства внешний угол глаза и угол рта на правой стороне лица относительно пациента обозначены как (a1) и (b1), а внешний угол глаза и угол рта на левой стороне относительно пациента обозначены как (a2) и (b2), но такие обозначения не являются фиксированными, правую и левую стороны можно поменять местами.

[0021] (3-2) Затем проводится линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны.

[0022] (3-3) Далее измеряется угол (θ1) между линией (a1-b1) в (3-2) и опорной линией и угол (θ2) между линией (a2-b2) и опорной линией, и полученные значения «θ1» и «θ2» являются параметрами.

[0023] Опорная линия в первом аспекте является горизонтальной линией на изображении (т.е. линией A-A на фиг. 1).

[0024] Кроме того, предполагается, что углом между линией (a1-b1) и опорной линией и углом между линией (a2-b2) и опорной линией в настоящем патентном описании называется угол, который не больше 90 градусов из двух углов, формируемых, когда линия (a1-b1) или линия (a2-b2) пересекает опорную линию (A-A) (т.е. дополнительных углов, образующих развернутый угол).

[0025] Наконец, на этапе (4) вычисляется значение показателя стресса по θ1 и θ2, которые являются параметрами, полученными на этапе (3). Значением показателя стресса в первом аспекте является разность (θ1-θ2) углов θ1 и θ2.

[0026] Было подтверждено, что разность (θ1-θ2) углов, т.е. значение показателя стресса, вычисленное с помощью способа первого аспекта, увеличивается, когда возникает стресс, и соответствующее увеличение и уменьшение разности углов соответствуют изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение показателя стресса (θ1-θ2) отражает уровень стресса у пациента.

[0027] Значение показателя стресса, полученное в первом аспекте, вычисляется на основании углов относительно опорной линии, которая является горизонтальной линией (A-A) на изображении, так что такое значение показателя может отражать перекошенность правой стороны лица относительно левой и наклон всего лица при максимальном уровне улыбки. Обоснование, что такое значение может быть выбрано в качестве показателя стресса, основано на результатах наблюдений (опыте), в которых когда у пациента возникает стресс, в выражении лица может появляться перекошенность правой стороны относительно левой, когда пациент полагает, что у него максимальный уровень улыбки, и пациенту может быть трудно сделать движение, чтобы быть лицом к устройству визуализации.

[0028] Второй аспект способа настоящего изобретения включает в себя этапы с (1) по (4), также как и первый аспект.

[0029] Однако дополнительно указываются соответствующие положения центральной точки (c1) правого глаза и центральной точки (c2) левого глаза в дополнение к местоположениям внешнего угла (a1) глаза и угла (b1) рта с одной стороны и внешнего угла (a2) глаза и угла (b2) рта с другой стороны в (3-1) на этапе (3).

[0030] В (3-2) на этапе (3) дополнительно обеспечивается (дополнительная) линия, проходящая через центральную точку (c1) правого глаза и центральную точку (c2) левого глаза (далее называемая линией центров глаз, линия A'-A' на фиг. 1), в дополнение к линии (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линии (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны.

[0031] Во втором аспекте опорной линией является линия центров глаз (A'-A'). Соответственно, в (3-3) на этапе (3) измеряются угол (θ1' на фиг. 1) между линией (a1-b1) и опорной линией (линией A'-A' на фиг. 1) и угол (θ2' на фиг. 1) между линией (a2-b2) и опорной линией (линией A'-A' на фиг. 1), так что параметрами могут быть значения θ1 и θ2.

[0032] На этапе (4) во втором аспекте вычисляется значение показателя стресса по θ1' и θ2', которые являются параметрами, полученными в (3-3). Значение показателя стресса во втором аспекте является разностью (θ1'-θ2') углов θ1' и θ2'.

[0033] Было подтверждено, что разность (θ1'-θ2') углов, т.е. значение показателя стресса, вычисленное способом второго аспекта, увеличивается, когда возникает стресс, и соответствующее увеличение и уменьшение разности углов соответствует изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение показателя стресса (θ1'-θ2') отражает уровень стресса у пациента.

[0034] Значение показателя стресса, полученное в настоящем аспекте, вычисляется на основании углов относительно линии центров глаз (линия A'-A' на фиг. 1), так что может быть компенсировано (убрано) влияние наклона всего лица, и в результате такое значение показателя стресса может отражать только перекошенность правой стороны лица относительно левой.

[0035] Также как первый аспект и второй аспект, третий аспект способа настоящего изобретения включает в себя этапы с (1) по (4). Однако дополнительно вычисляется значение показателя стресса путем получения параметра, полученного при максимальном уровне улыбки, и параметра, полученного при нейтральном выражении. Подробное описание дано ниже.

[0036] Также как в первом аспекте и втором аспекте, этапы (1) и (2) включают в себя (1А): предоставление пациенту инструкции принять положение прямо, лицом к устройству визуализации, с максимальным уровнем улыбки и (2А): получение изображения с максимальным уровнем улыбки. Кроме того, также выполняются (1B): предоставление пациенту инструкции принять нейтральное выражение и (2B): получение изображения с нейтральным выражением. Нейтральным выражением здесь называется состояние, в котором пациент полностью расслаблен и мышцы лица не напряжены (т.е. состояние с ничего не выражающим лицом).

[0037] На этапе (3) выполняется обработка каждого из изображений с максимальным уровнем улыбки, полученном в (2А), и нормальным выражением лица, полученным в (2B). Обработка изображения с максимальным уровнем улыбки будет описана со ссылкой на фиг. 1, а обработка изображения с нейтральным выражением будет описана со ссылкой на фиг. 2.

[0038] (3А): Что касается изображения с максимальным уровнем улыбки (фиг. 1), даны линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и для получения конкретных параметров измеряются угол (θ1) между линией (a1-b1) и опорной линией (A-A на фиг. 1) и угол (θ2) между линией (a2-b2) и опорной линией (A-A на фиг. 1).

[0039] (3B): Что касается изображения с нейтральным выражением (фиг. 2), проводятся линия (a1"-b1"), которая проходит через внешний угол (a1") глаза и угол (b1") рта с одной стороны, и линия (a2"-b2"), которая проходит через внешний угол (a2") глаза и угол (b2") рта с другой стороны, и для получения конкретных параметров измеряются угол (θ1") между линией (a1"-b1") и опорной линией (A-A на фиг. 2) и угол (θ2") между линией (a2"-b2") и опорной линией (A-A на фиг. 2).

[0040] Кроме того, также на фиг. 2 для удобства внешний угол глаза и угол рта с правой стороны лица пациента даны как (a1") и (b1"), а внешний угол глаза и угол рта с левой стороны даны как (a2") и (b2"), но правую и левую стороны можно поменять местами.

[0041] На этапе (4) вычисляется значение показателя стресса с помощью параметров (θ1, θ2) при максимальном уровне улыбки, полученных в (3А), и параметров (θ1", θ2") при нейтральном выражении, полученных в (3B). То есть вычисляются разность (θ1-θ2) углов θ1 и θ2 на изображении с максимальным уровнем улыбки и разность (θ1"-θ2") углов θ1" и θ2" на изображении с нормальным выражением лица, так что может быть вычислена разность ((θ1-θ2)-(θ1"-θ2")) разности (θ1-θ2) углов и разности (θ1"-θ2") углов, и в результате может быть указано значение показателя стресса в третьем аспекте.

[0042] Поскольку здесь значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса способа настоящего аспекта является разностью значения показателя для нейтрального выражения и значения показателя для максимального уровня улыбки, то может быть компенсировано изменение чисел из-за наклона лица. Соответственно, опорная линия в третьем аспекте может быть как горизонтальной линией (A-A) на изображении первого аспекта, так и линией (A'-A') центров глаз второго аспекта.

[0043] Было подтверждено, что ((θ1-θ2)-(θ1"-θ2")), т.е. значение показателя стресса, вычисленное способом третьего аспекта, увеличивается, когда возникает стресс, и соответствующие увеличение и уменьшение ((θ1-θ2)-(θ1"-θ2")) соответствуют изменению концентрации кортизола, гормона стресса, в слюне, и, другими словами, было подтверждено, что значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса отражает уровень стресса у пациента.

[0044] Способ третьего аспекта берет разность значения показателя для максимального уровня улыбки и значения показателя для нейтрального выражения в качестве показателя стресса, так что влияние наклона всего лица может быть устранено, также как и во втором аспекте, и может быть отражено такое состояние, как как ригидность мышц лица из-за стресса.

[0045] С помощью способа согласно настоящему изобретению получается множество изображений при многократном повторении этапа (1) и этапа (2), и среднее значение параметров, полученных из соответствующих изображений на этапе (3), применяется в вычислении на этапе (4), так что может быть устранена погрешность измерения в первом, втором и третьем аспектах.

[0046] Число повторений не указывается конкретно, но может быть, например, от 2 до 10 раз, или более предпочтительно от 3 до 9 раз, или более предпочтительно от 4 до 8 раз, или еще более предпочтительно от 5 до 7 раз.

[0047] Настоящее изобретение также обеспечивает систему и компьютерную программу (программное обеспечение) для реализации способа оценки стресса, описанного выше, и носитель данных, хранящий компьютерную программу.

[0048] Система согласно настоящему изобретению включает в себя средство предоставления инструкции для предоставления пациенту инструкции, средство получения изображений для получения изображения лица пациента, средство обработки изображений для обработки полученного изображения лица и вычислительное средство для выполнения вычислений с использованием параметра, полученного путем обработки изображения.

[0049] Средство для предоставления инструкции пациенту может быть документом (руководством), прикрепленным к устройству получения изображений, или такое средство может быть устройством отображения изображений, соединенным с устройством получения изображений, отображающим инструкцию, или устройством воспроизведения звука, дающим инструкцию посредством звука.

[0050] Средство получения изображений является предпочтительно устройством получения изображений, таким как цифровой фотоаппарат. Кроме того, предпочтительным является монитор для отображения изображения, полученного с использованием камеры, в режиме реального времени, так что может быть предпочтительным, чтобы пациент мог отрегулировать положение лица относительно центра камеры, сверяясь с монитором. При этом часть, включающая глаза, нос и рот пациента, отображаемая на мониторе, предпочтительно должна быть замаскирована, чтобы предотвратить намеренные изменения со стороны пациента, такие как наклон лица и само выражение лица при взгляде на монитор. Маскирование может быть обеспечено, например, посредством прикрепления маскирующего элемента на экране монитора или посредством функции отображения изображения с маской на мониторе.

[0051] Система согласно настоящему изобретению предпочтительно включает в себя средство хранения для хранения данных, относящихся к полученному изображению лица.

[0052] Средство обработки изображений включает в себя средство для определения местоположений характерных точек на полученном изображении лица (внешние углы правого и левого глаз, правый и левый углы рта и центральные точки глаз в зависимости от ситуации) и средство для оценки предварительно определенных углов относительно этих местоположений.

[0053] Вычислительное средство включает в себя средство для вычисления значения показателя стресса путем выполнения предварительно определенного вычисления с использованием в качестве параметров углов, полученных при обработке изображений.

[0054] Система согласно настоящему изобретению предпочтительно включает в себя устройство отображения, которое отображает значение показателя стресса, полученное с использованием вычислительного средства.

[0055] Кроме того, значение показателя стресса каждого пациента может быть сохранено в запоминающее устройстве, и могут быть обеспечены средство для сравнения полученного в настоящее время значения показателя стресса и ранее полученного (и сохраненного) значения показателя стресса и предупреждение пациенту на основе изменения.

[0056] Система согласно настоящему изобретению может быть персональным компьютером (PC), планшетом или смартфоном, включающим в себя средство отображения, средство получения изображений, средство хранения и вычислительное средство, и система согласно настоящему изобретению может быть выполнена с возможностью загрузки программы (приложения) для реализации способа оценки стресса согласно настоящему изобретению в PC, планшет или смартфон.

[0057] Компьютерная программа согласно настоящему изобретению включает в себя: (1) этап предоставления инструкции пациенту; (2) этап обработки изображения лица пациента, полученного с помощью устройства получения изображений, и вывода параметра, отражающего стресс у пациента; и (3) этап вычисления значения показателя стресса путем выполнения вычисления (операции) с использованием параметров, полученных в качестве выходных данных при выполнении обработки изображений, и

на этапе (2) этап определения местоположений внешних углов правого и левого глаз и правого и левого углов рта и центральных точек правого и левого глаз на изображении лица, этап обеспечения линии (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линии (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, этап измерения угла (θ1) между линией (a1-b1) и опорной линией и угла (θ2) между линией (a2-b2) и опорной линией и этап вывода значений θ1 и θ2 в качестве параметров, и на этапе (3) этап вычисления значения показателя стресса с помощью этих параметров (θ1 и θ2).

ПРИМЕРЫ

[0058] Далее настоящее изобретение будет описано более подробно со ссылкой на конкретные аспекты, но настоящее изобретение никоим образом не ограничивается приведенными ниже аспектами.

[0059] Можно придумать множество способов, как создать стресс для верификации психологических и физических изменений, вызванных стрессом, и, в частности, например, кандидат в астронавты помещался в закрытую среду, где не возможен никакой контакт извне, и он был вынужден провести там предварительно определенный период времени. Например, см. подробности в Inoue N и др., Aviation, Space, and Environmental Medicine, Vol. 84, No. 8, pp. 867-871 (2013), Tamiyasu Shimamiya и др., "Psycho-physiological stress assessment in closed habitation", Space Utiliz. Res., 24 (2008).

[0060] Аналогичная методология применялась для проверки способа настоящего изобретения, т.е. тест на стресс проводился над группой, совместно проживающей в среде, изолированной от внешнего мира. А именно, пациенты (23 человека) как совместная группа были вынуждены жить в среде, изолированной от внешнего мира, при этом продовольствие, часы сна и задания строго контролировались. Соответствующие значения показателя стресса измерялись в конкретное время каждый день, когда наступало время измерения, по изображению лица с помощью способа в соответствии с настоящим изобретением за один день до помещения в среду, изолированную от внешнего мира, (L-1), во время проживания в течение двух недель в среде, изолированной от внешнего мира, (с C1 по C14), один день (R+1) после выхода из среды, изолированной от внешнего мира, и семь дней (R+7) после этого, и, кроме того, одновременно с захватом изображения лица измерялась концентрация кортизола в слюне каждого пациента.

[0061] (Пример 1)

На фиг. 3 представлен график, показывающий значения (θ1-θ2, обращаясь к фиг. 1) показателя стресса, измеренные в соответствии с первым аспектом способа согласно настоящему изобретению, и изменения концентрации кортизола в слюне, при этом оба измерялись одновременно.

[0062] Как показано на фиг. 1, при обработке изображения в соответствии с аспектом задаются линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, и линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и вычисляется значение (θ1-θ2) показателя стресса по углу (θ1) между линией (a1-b1) и горизонтальной линией (A-A) на изображении и углу (θ2) между линией (a2-b2) и горизонтальной линией (A-A) на изображении.

[0063] В соответствии с данными на фиг. 3, значение показателя стресса становится высоким за один день перед помещением в среду, изолированную от внешнего мира, (L-1), и, похоже, стресс снижается в течение первой недели после помещения (C2-C7), увеличивается по истечении первой недели (C8-14), снижается после выхода из среды, изолированной от внешнего мира, (R+1), и затем еще уменьшается через семь дней (R+7). Изменение (значения стресса) совпадает с изменением концентрации кортизола в том же направлении.

[0064] (Пример 2)

На фиг. 4 представлен график, показывающий значение (θ1'-θ2', обращаясь к фиг. 1) показателя стресса, измеренное в соответствии со вторым аспектом способа согласно настоящему изобретению, и концентрация кортизола в слюне, при этом оба измерялись одновременно.

[0065] Как показано на фиг. 1, при обработке изображений в соответствии с аспектом задаются линия (a1-b1), которая проходит через внешний угол (a1) глаза и угол (b1) рта с одной стороны, линия (a2-b2), которая проходит через внешний угол (a2) глаза и угол (b2) рта с другой стороны, и, кроме того, линия, проходящая через центральные точки (c1 и c2) глаз (линия центров глаз; A'-A' на фиг. 1), и вычисляется значение (θ1'-θ2') показателя стресса по углу (θ1') между линией (a1-b1) и линией центров глаз (A'-A') и углу (θ2') между линией (a2-b2) и линией центров глаз (A'-A').

[0066] В соответствии с данными на фиг. 4, значение показателя стресса является относительно маленьким за день перед помещением в среду, изолированную от внешнего мира, (L-1), тогда как стресс увеличивается после помещения (C2-7, первая неделя) и дополнительно увеличивается на второй неделе (C8-14). Однако стресс уменьшается после выхода из среды, изолированной от внешнего мира, (R+1 и R+7). Изменение показателя стресса хорошо совпадают с изменением концентрации кортизола (с такой же тенденцией).

[0067] (Пример 3)

На фиг. 5 представлен график, показывающий значение ((θ1-θ2)-(θ1"-θ2"), обращаясь к фиг. 1 и 2) показателя стресса, измеренное в соответствии с третьим аспектом способа согласно настоящему изобретению, и концентрацию кортизола в слюне, при этом оба измерялись одновременно.

[0068] При обработке изображений в соответствии с этим аспектом, изображение с максимальным уровнем улыбки и изображение с нейтральным выражением получались семь раз каждое, и каждое изображение обрабатывалось также, как в примере 1. Соответствующие углы, полученные из семи изображений при максимальном уровне улыбки, усреднялись для обеспечения параметров (θ1 и θ2), углы, полученные из семи изображений при нейтральном выражении, усреднялись для обеспечения параметров (θ1" и θ2"), и по этим параметрам вычислялось значение ((θ1-θ2)-(θ1"-θ2")) показателя стресса.

[0069] В соответствии с данными на фиг. 5, значение показателя стресса является отрицательной величиной за день перед помещением в среду, изолированную от внешнего мира, (L-1), но после помещения величина становится положительной, и значение показателя увеличивается на второй неделе (C8-14) еще более, чем на первой неделе (C2-7). Стресс уменьшается после выхода из среды, изолированной от внешнего мира, (R+1), и стресс дополнительно уменьшается на седьмой день после выхода (R+7). Изменение (значения стресса) хорошо совпадает с изменением концентрации кортизола.

[Второй вариант осуществления]

Во втором варианте осуществления стресс у пациента диагностируется с использованием способа оценки стресса в соответствии с первым вариантом осуществления с помощью приложения диагностики стресса, которое является примером программы. Описание того же самого содержания, что было в первом варианте осуществления, при необходимости будет опускаться.

[0070] <Конфигурация системы>

Фиг. 6А и фиг. 6B являются схемами конфигурации примера системы обработки информации в соответствии с настоящим вариантом осуществления. Система обработки информации в соответствии с настоящим вариантом осуществления может состоять из одного только устройства 1 обработки информации, как изображено на фиг. 6А, или может состоять из одного или нескольких клиентских терминалов 2 для пациентов, серверного устройства 3 и клиентского терминала 4 для лица, проводящего тест, которые соединяются с помощью сети 5, как изображено на фиг. 6B.

[0071] Устройство 1 обработки информации на фиг. 6А реализовано, например, с помощью компьютера, имеющего возможность исполнять приложение диагностики стресса в соответствии с настоящим вариантом осуществления. Устройство 1 обработки информации является компьютером, таким как PC, смартфон, планшет и т.п.

[0072] Клиентские терминалы 2 и 4 системы обработки информации на фиг. 6B реализованы с помощью компьютера, имеющего возможность исполнять приложение диагностики стресса в соответствии с настоящим вариантом осуществления, такого как PC, смартфон и планшет. Серверное устройство 3 управляет приложением диагностики стресса, используемым пациентами и лицом, проводящим тест, с помощью клиентских терминалов 2 и 4.

[0073] Таким образом система обработки информации в соответствии с настоящим вариантом осуществления может быть реализована посредством только одного устройства 1 обработки информации, изображенного на фиг. 6А, или может быть реализована как клиент-серверная архитектура, изображенная на фиг. 6B. Система обработки информации на фиг. 6А и фиг. 6B является примером, и следует понимать, что существуют различные примеры конфигурации системы в соответствии с применениями и целями. Например, функции серверного устройства 3 на фиг. 6B могут быть распределены между множеством компьютеров.

[0074] <Конфигурация аппаратного обеспечения>

<<Устройство обработки информации и клиентские терминалы пациента>>

Устройство 1 обработки информации и клиентский терминал 2 пациента реализованы, например, посредством компьютеров, имеющих конфигурацию аппаратного обеспечения, как изображено на фиг. 7А и фиг. 7B. Фиг. 7А и фиг. 7B являются схемами конфигурации аппаратного обеспечения пример компьютера.

[0075] Компьютер на фиг. 7А включают в себя устройство 501 ввода, устройство 502 отображения, внешний интерфейс 503, RAM 504, ROM 505, CPU 506, интерфейс 507 связи, жесткий диск (HDD) 508, устройство 509 получения изображений и т.п., которые соединены друг с другом через шину B. Следует отметить, что устройство 501 ввода и устройство 502 отображения могут быть встроенными или могут подключаться и использоваться при необходимости.

[0076] Устройство 501 ввода является сенсорной панелью, клавишами и кнопками управления, клавиатурой и мышью, используемыми пациентом для ввода различных сигналов. Устройство 502 отображения является отображающим экран дисплеем, таким как жидкокристаллический дисплей или органический EL-дисплей. Интерфейс 507 связи является интерфейсом для соединения с сетью 5, такой как локальная сеть (local area network, LAN) или Интернет. Компьютер на фиг. 7А может осуществлять связь через сеть 5 с использованием интерфейса 507 связи.

[0077] Жесткий диск (HDD) 508 является примером энергонезависимых запоминающих устройств, хранящих программы и т.п. Программы, сохраненные на жестком диске (HDD) 508, включают в себя операционную систему, приложение диагностики стресса и т.п. Жесткий диск (HDD) 508 может быть заменен запоминающим устройством, таким как дисковое устройство (например, твердотельный накопитель), использующее флэш-память в качестве носителя данных, или картой памяти. Внешний интерфейс 503 является интерфейсом к внешнему устройству, такому как носитель 503А информации. Компьютер на фиг. 7А может читать и/или записывать на носитель 503А информации с использованием внешнего интерфейса 503.

[0078] Носитель 503А информации включает в себя гибкий диск, CD, DVD, карту памяти SD, память USB и т.п. ROM 505 является примером энергонезависимой полупроводниковой памяти (запоминающим устройством), которое может хранить программы и т.п. даже тогда, когда питание выключено. ROM 505 хранит программы, такие как BIOS, исполняемые при запуске, и различные параметры, таких как параметры OS и параметры сети. RAM 504 является примером энергозависимой полупроводниковой памяти (запоминающим устройством) для того, чтобы временно хранить программы и т.п. CPU 506 является процессорным блоком, который считывает программу из запоминающее устройства, такого как ROM 505 и жесткий диск 508, в RAM 504 и выполняет процессы. Устройство 509 получения изображений получает изображение с помощью камеры.

[0079] Устройство 1 обработки информации и клиентский терминал 2 в соответствии с настоящим вариантом осуществления могут исполнять различные процессы, как описано ниже, путем исполнения приложения диагностики стресса в упомянутой выше конфигурации аппаратного обеспечения. Следует отметить, что компьютер на фиг. 7А включают в себя устройство 509 получения изображений (т.е. оно обеспечено во встроенном виде), но, например, как изображено на фиг. 7B, компьютер может использовать устройство 509 получения изображений, подключенное через внешний интерфейс 503. Компьютер на фиг. 7B отличается от компьютера, изображенного на фиг. 7А, тем, что устройство 509 получения изображений является внешним.

[0080] <<Клиентский терминал лица, проводящего тест, и серверное устройство>>

Серверное устройство 3 и клиентский терминал 4 лица, проводящего тест, реализованы, например, посредством компьютеров, имеющих конфигурацию аппаратного обеспечения, изображенную на фиг. 8. Фиг. 8 является схемой конфигурации аппаратного обеспечения примера компьютера. Описание таких же частей, как на фиг. 7А и фиг. 7B, опускается.

[0081] Компьютер на фиг. 8 включает в себя устройство 601 ввода, устройство 602 отображения, внешний интерфейс 603, RAM 604, ROM 605, CPU 606, интерфейс 607 связи, жесткий диск (HDD) 608 и т.п., которые соединены друг с другом через шину B. Компьютер на фиг. 8 является конфигурацией компьютера, изображенного на фиг. 7А и фиг. 7B, без устройства 509 получения изображений. Компьютер на фиг. 8 осуществляет связь через сеть 5 с использованием интерфейса 607 связи.

[0082] <Конфигурация программного обеспечения>

Здесь будет объяснена конфигурация программного обеспечения устройства 1 обработки информации, изображенного на фиг. 6А. Фиг. 9 является функциональной блок-схемой примера устройства обработки информации в соответствии с настоящим вариантом осуществления. Устройство 1 обработки информации включает в себя блок 10 приема операций, блок 12 ввода изображения, блок 14 измерения значения улыбки, блок 16 выделения характерных точек, блок 18 инструкций, блок 20 генерации содержания, блок 22 вычисления показателя стресса, блок 24 отображения содержания и блок 26 хранения показателя стресса.

[0083] Блок 10 приема операций принимает операции от пациентов. Например, блок 10 приема операций принимает операцию для запуска диагностики стресса от пациента. Когда блок 10 приема операций принимает от пациента, например, операцию для запуска диагностики стресса, блок 10 приема операций уведомляет блок 14 измерения значения улыбки и блок 18 инструкций о запуске диагностики стресса для запуска процесса диагностики стресса.

[0084] Блок 12 ввода изображения получает изображение (входное изображение), захваченное устройством 509 получения изображений. Блок 12 ввода изображения предоставляет входное изображение блоку 14 измерения значения улыбки, блоку 16 извлечения характерных точек и блоку 20 генерации содержания. Блок 20 генерации содержания генерирует изображение содержания из входного изображения, обеспеченного блоком 12 ввода изображения, как описано ниже. Блок 24 отображения содержания предписывает устройству 502 отображения отображать изображение содержания, генерируемое блоком 20 генерации содержания.

[0085] Блок 14 измерения значения улыбки оценивает значение улыбки на изображении лица, содержащемся во входном изображении, полученном от блока 12 ввода изображения. Следует отметить, что методики для оценки значения улыбки по изображению лица известны, и их описание опускается. Значение улыбки, оцененное блоком 14 измерения значения улыбки (далее называемое оцененным значением улыбки), предоставляется блоку 20 генерации содержания и отображается на изображении содержания, как описано ниже. Блок 14 измерения значения улыбки предоставляет оцененное значение улыбки блоку 16 извлечения характерных точек и блоку 18 инструкций.

[0086] Блок 18 инструкций предоставляет целевое значение значения улыбки (далее целевое значение улыбки) блоку 20 генерации содержания после того, как началась диагностика стресса. Целевое значение улыбки, предоставленное блоку 20 генерации содержания, отображается на изображении содержания, как описано ниже. Поэтому пациент может корректировать улыбку так, чтобы оцененное значение улыбки достигло целевого значения улыбки, пока пациент видит изображение содержания, отображаемое на устройстве 502 отображения.

[0087] Блок 16 извлечения характерных точек принимает оцененное значение улыбки от блока 14 измерения значения улыбки и целевое значение улыбки от блока 18 инструкций. В момент времени, когда оцененное значение улыбки достигает целевого значения улыбки, блок 16 извлечения характерных точек извлекает местоположения внешних углов правого и левого глаз, углов рта, центров глаз и т.п. в качестве местоположения характерных точек в соответствии с первым вариантом осуществления из изображения лица пациента, содержащегося во входном изображении.

[0088] Например, в случае, когда используется первый аспект способа оценки стресса в соответствии с первым вариантом осуществления, определяются следующие местоположения: местоположения внешнего угла (a1) одного из глаз и угла (b1) рта; и местоположения внешнего угла (a2) другого глаза и противоположного угла (b2) рта. В случае, когда используется второй аспект способа оценки стресса в соответствии с первым вариантом осуществления, извлекаются следующие местоположения: местоположения внешнего угла (a1) одного из глаз, угла (b1) рта и местоположение центра (c1) этого одного из глаз; и местоположения внешнего угла (a2) другого глаза, противоположного угла (b2) рта и местоположение центра (c2) другого глаза.

[0089] Блок 22 вычисления показателя стресса вычисляет значение (значение показателя стресса), служащее в качестве показателя стресса, в соответствии со способом оценки стресса первого варианта осуществления по местоположению характерных точек, извлеченных блоком 16 извлечения характерных точек. Например, в случае, когда используется первый аспект способа оценки стресса в соответствии с первым вариантом осуществления, блок 22 вычисления показателя стресса проводит линию (a1-b1), проходящую через внешний угол (a1) одного из глаз и угол (b1) рта, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта.

[0090] Затем блок 22 вычисления показателя стресса измеряет: угол (θ1), образованный проведенной линией (a1-b1) и опорной линией; и угол (θ1), образованный проведенной линией (a2-b2) и опорной линией. Блок 22 вычисления показателя стресса устанавливает в качестве параметров измеренные значения углов «θ1» и «θ2». Блок 22 вычисления показателя стресса вычисляет в качестве значения показателя стресса разность (θ1-θ2) углов θ1 и θ2, которые являются полученными параметрами.

[0091] В случае, когда используется второй аспект способа оценки стресса в соответствии с первым вариантом осуществления, блок 22 вычисления показателя стресса проводит: линию (a1-b1), проходящую через внешний угол (a1) одного из глаз и угол (b1) рта; линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта; и линию центра глаз, проходящую через местоположение центра (c1) одного из глаз и местоположение центра (c2) другого глаза.

[0092] Затем блок 22 вычисления показателя стресса вычисляет: угол (θ1'), образованный проведенной линией (a1-b1) и линией центра глаз, т.е. опорной линией; и угол (θ2'), образованный проведенной линией (a2-b2) и линией центра глаз, т.е. опорной линией. Блок 22 вычисления показателя стресса устанавливает в качестве параметров значения измеренных углов «θ1'» и «θ2'». Блок 22 вычисления показателя стресса вычисляет в качестве значения показателя стресса разность (θ1'-θ2') углов θ1' и θ2', которые являются полученными параметрами.

[0093] Далее, в случае, когда используется третий аспект способа оценки стресса согласно первому варианту осуществления, вычисляется параметр, полученный, когда пациент имеет максимальный уровень улыбки, и параметр, полученный, когда пациент имеет нейтральное выражение, с использованием первого аспекта или второго аспекта, объясненных выше, и вычисляется разность параметров в качестве значения показателя стресса. Блок 26 хранения показателя стресса сохраняет значение показателя стресса, вычисленное блоком 22 вычисления показателя стресса, как исторические данные, связанные с данными о дате и т.п.

[0094] Был показан пример, в котором устройство 1 обработки информации на фиг. 9 извлекает местоположения характерных точек первого варианта осуществления, извлеченные блоком 16 извлечения характерных точек из изображения лица пациента, содержащегося во входном изображении, в момент времени, когда оцененное значение улыбки достигает целевого значения улыбки, но эти процессы не обязательно должны выполняться в режиме реального времени. Например, блок 16 извлечения характерных точек может сохранить в качестве исторического изображения изображение лица пациента в момент времени, когда оцененное значение улыбки достигло целевое значение улыбки, и блок 22 вычисления показателя стресса может позже выполнить обработку.

[0095] <Процессы>

<<Общие процессы>>

Устройство 1 обработки информации в соответствии с настоящим вариантом осуществления выполняет процессы, например, в соответствии с процедурой, изображенной на фиг. 10. Фиг. 10 является блок-схемой последовательности операций примера общего процесса устройства обработки информации в соответствии с настоящим вариантом осуществления. Когда устройство 1 обработки информации принимает операцию для запуска диагностики стресса после того, как пациент выполняет приложение диагностики стресса, устройство 1 обработки информации переходит к этапу S10 для выполнения процесса позиционирования лица, описанного ниже, для позиционирования изображения лица пациента, отображаемого на изображении содержания.

[0096] Переходя к этапу S12, устройство 1 обработки информации выполняет процесс сбора данных, описанный ниже, для получения изображения лица пациента, когда оцененное значение улыбки достигает целевого значения улыбки. Переходя к этапу S14, устройство 1 обработки информации выполняет процесс анализа данных путем вычисления значения показателя стресса по изображению лица, снятом при целевом значении улыбки пациента, полученном на этапе S12. Переходя к этапу S16, устройство 1 обработки информации выполняет процесс вывода отчета для вывода в качестве отчета исторических данных значения показателя стресса, вычисленных на этапе S14.

[0097] <<S10: Процесс позиционирования лица>>

Фиг. 11 является блок-схемой последовательности операций примера процесса позиционирования лица. На этапе S20 блок 12 ввода изображения устройства 1 обработки информации принимает изображение (входное изображение), захваченное устройством 509 получения изображений в блоках кадров. Блок 12 ввода изображения предоставляет входное изображение блоку 20 генерации содержания и отображает изображение содержания, как изображено на фиг. 12, на экране 1000 приложения диагностики стресса. Фиг. 12 является иллюстративным изображением экрана приложения диагностики стресса во время процесса позиционирования лица. На экране 1000 приложения диагностики стресса отображается рамка 1002, которая является целевым местоположением изображения лица, содержащегося во входном изображении.

[0098] Переходя к этапу S22, блок 14 измерения значения улыбки выполняет анализ изображения лица входного изображения, предоставленного блоком 12 ввода изображения, и обнаруживает изображение лица, содержащееся во входном изображении. Процесс на этапах с S20 по S24 повторяется до тех пор, пока не будет обнаружено изображение лица. Когда изображение лица обнаружено, блок 14 измерения значения улыбки переходит к этапу S26 для обнаружения области (общего местоположения) обнаруженного изображения лица.

[0099] Переходя к этапу S28, блок 14 измерения значения улыбки определяет, находится ли общее местоположение обнаруженного изображения лица внутри рамки 1002. Процесс этапов с S20 по S28 повторяется до тех пор, пока общее местоположение обнаруженного изображения лица не будет внутри рамки 1002. Когда определено, что общее местоположение обнаруженного изображения лица находится внутри рамки 1002, блок 20 генерации содержания переходит к этапу S30 для отображения «Индикатор OK», чтобы сообщить пациенту, что местоположение изображения лица находится внутри рамки 1002 (было выполнено позиционирование изображения лица).

[0100] Переходя к этапу S32, когда блок 10 приема операций устройства 1 обработки информации принимает инструкцию начать захват изображения пациента при отображении «Индикатор OK», блок 10 приема операций заканчивает процесс позиционирования лица на фиг. 11 и начинает процесс сбора данных, как изображено на этапе S12 на фиг. 10.

[0101] <<S12: Процесс сбора данных>>

Фиг. 13 является блок-схемой последовательности операций примера процесса сбора данных. На этапе S40 блок 12 ввода изображения устройства 1 обработки информации принимает изображения (входные изображения), захваченные устройством 509 получения изображений, которые вводятся в блоках кадров. Блок 12 ввода изображения предоставляет входное изображение блоку 20 генерации содержания и отображает изображение содержания, как изображено на фиг. 14, на экране 1000 приложения диагностики стресса. Фиг. 14 является иллюстративным изображением экрана приложения диагностики стресса во время процесса сбора данных. На экране 1000 приложения диагностики стресса отображаются целевое значение 1004 улыбки и оцененное значение 1006 улыбки. На фиг. 14 «значение улыбки» отображается как «ОЦЕНКА УЛЫБКИ».

[0102] Экран 1000 приложения диагностики стресса с левой стороны является примером целевого значения 1004 улыбки, предоставляющего пациенту инструкцию обеспечить максимальный уровень улыбки. Экран 1000 приложения диагностики стресса справа является примером целевого значения 1004 улыбки, предоставляющего пациенту инструкцию обеспечить минимальный уровень улыбки (нейтральное выражение). Оцененное значение 1006 улыбки является значением улыбки в режиме реального времени, оцененным блоком 14 измерения значения улыбки.

[0103] Переходя к этапу S42, блок 14 измерения значения улыбки выполняет анализ изображения лица на входном изображении, предоставленном блоком 12 ввода изображения, и обнаруживает изображение лица, содержащееся во входном изображении. Процесс этапов с S40 по S44 повторяется до тех пор, пока не будет обнаружено изображения лица. Когда изображение лица обнаружено, блок 14 измерения значения улыбки переходит к этапу S46 для оценки значения улыбки обнаруженного изображения лица.

[0104] Процесс этапов с S40 по S48 повторяется до тех пор, пока оцененное значение 1006 улыбки не достигнет целевого значения 1004 улыбки. Когда оцененное значение 1006 улыбки достигло целевого значения 1004 улыбки, блок 16 извлечения характерных точек переходит к этапу S50 для сохранения изображения лица в качестве исторического изображения и значения улыбки пациента в момент времени, когда оцененное значение 1006 улыбки достигло целевого значения 1004 улыбки. Процесс этапов с S40 по S52 повторяется, когда целевое значение 1004 улыбки, отображаемое на экране 1000 приложения диагностики стресса, переключается на целевое значение 1004 улыбки для того, чтобы предоставить пациенту инструкцию обеспечить максимальный уровень улыбки, и целевое значение 1004 улыбки для того, чтобы предоставить пациенту инструкцию обеспечить минимальный уровень улыбки.

[0105] Соответственно, на этапе S50 изображение лица пациента, полученное в момент, когда оцененное значение 1006 улыбки достигает максимального уровня улыбки или минимального уровня улыбки, может быть сохранено как историческое изображение. Когда ввод входного изображения закончен, процесс сбора данных на фиг. 13 завершается, и начинается процесс анализа данных, изображенный на этапе S14 на фиг. 10.

[0106] Как было объяснено в первом варианте осуществления, экраном 1000 приложения диагностики стресса на фиг. 14 может быть экран 1000 приложения диагностики стресса на фиг. 15 для предотвращения намеренного изменения выражения лица пациентом при взгляде на монитор. Фиг. 15 является иллюстративным изображением экрана приложения диагностики стресса, на котором лицо пациента маскируется. Экран 1000 приложения диагностики стресса на фиг. 15 является примером, в котором применяется маскирование 1008 для сокрытия изображения лица, включая глаза, нос и рот пациента, отображаемого на устройстве 502 отображения.

[0107] <<S14: процесс анализа данных>>

Фиг. 16 является блок-схемой последовательности операций примера процесса анализа данных. Блок 16 извлечения характерных точек устройства 1 обработки информации на этапе S60 считывает историческое изображение, сохраненное в процессе сбора данных этапа S12. Переходя к этапу S62, блок 16 извлечения характерных точек выполняет анализ изображения лица на историческом изображении, считанном на этапе S60, для обнаружения изображения лица, содержащегося в историческом изображении. Процессы этапов с S60 по S64 повторяются до тех пор, пока не будет обнаружено изображение лица.

[0108] Когда изображение лица обнаружено, блок 16 извлечения характерных точек переходит к этапу S66 для извлечения из обнаруженного изображения лица местоположений (данных опознавательных точек) характерных точек, таких как внешние углы правого и левого глаз, углы рта, местоположения центра глаз и т.п. Этап S66 является обработкой для извлечения местоположений характерных точек из изображения лица пациента с максимальным уровнем улыбки или минимальным уровнем улыбки. В процессе извлечения местоположений характерных точек из изображения лица на этапе S66 возможно более точное извлечение путем использования AI (машинного обучения).

[0109] Переходя к этапу S68, блок 22 вычисления показателя стресса вычисляет значение (значение показателя стресса), служащее в качестве показателя стресса в способе оценки стресса первого варианта осуществления, по местоположениям характерных точек, извлеченных блоком 16 извлечения характерных точек. Переходя к этапу S70, блок 22 вычисления показателя стресса сохраняет, как исторические данные, вычисленное значение показателя стресса в блоке 26 хранения показателя стресса. Когда считывание исторического изображения завершено, завершается процесс анализа данных на фиг. 16.

[0110] Изображение процесса анализа данных на фиг. 16 может отображаться на экране 1000 приложения диагностики стресса, например, как изображено на фиг. 17А и фиг. 17B. Фиг. 17А является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при максимальном уровне улыбки. Фиг. 17B является иллюстративным изображением экрана приложения диагностики стресса для отображения изображения процесса анализа данных, выполняемого при минимальном уровне улыбки.

[0111] Экран 1000 приложения диагностики стресса на фиг. 17А и 17B изображает: в качестве характерных точек местоположения внешнего угла одного из глаз, угол рта, местоположение центра одного из глаз; и местоположения внешнего угла другого глаза, противоположного угла рта, местоположение центра другого глаза, которые были объяснены в первом варианте осуществления. Экран 1000 приложения диагностики стресса на фиг. 17А и 17B изображает линию, проходящую через внешний угол одного из глаз и угол рта, линию, проходящую через внешний угол другого глаза и противоположный угол рта, горизонтальную линию на изображении и линию центра глаз, проходящую через местоположения центров обоих глаз.

[0112] На экране 1000 приложения диагностики стресса на фиг. 17А и 17B обеспечены: кнопка 1010 для переключения между историческим изображением с максимальным уровнем улыбки и историческим изображением с минимальным уровнем улыбки; и кнопка 1012 для переключения исторических изображений в случае, когда имеется несколько исторических изображений с максимальным уровнем улыбки или минимальным уровнем улыбки.

[0113] <<S16: Процесс вывода отчета>>

Фиг. 18 является блок-схемой последовательности операций примера процесса вывода отчета. На этапе S80 блок 20 генерации содержания устройства 1 обработки информации считывает исторические данные значения показателя стресса, сохраненные на этапе S14, из блока 26 хранения показателя стресса.

[0114] Переходя к этапу S82, блок 20 генерации содержания сравнивает значение показателя стресса в текущем состоянии (сегодня) со значением показателя стресса в прошлом. Переходя к этапу S84, блок 20 генерации содержания генерирует график отчета на основании результата сравнения этапа S82. Процессы этапов с S80 по S86 повторяются до тех пор, пока не будут считаны все исторические данные пациента.

[0115] После считывания всех исторических данных пациента блок 24 отображения содержания переходит к этапу S88 для отображения общего отчета 1020, как изображено на фиг. 19, включающего в себя график отчета, сгенерированный блоком 20 генерации содержания. Фиг. 19 является иллюстративным изображением экрана приложения диагностики стресса во время отображения общего отчета. Общий отчет 1020 на фиг. 19 отображает изменения значения показателя стресса в хронологическом порядке. В общем отчете 1020 на фиг. 19 значение показателя стресса выражено как степень искажения улыбки. Как изображено в общем отчете 1020 на фиг. 19, изменения значения показателя стресса выражены в виде диаграммы, которая позволяет пациенту легко распознать изменения стресса.

[0116] Например, приложение диагностики стресса в соответствии с настоящим вариантом осуществления может быть предоставлено с функцией проведения опроса для диагностики стресса на экране 1030 опроса, как изображено на фиг. 20, и может выполнять диагностику стресса на основании опроса.

[0117] В этом случае, например, блок 24 отображения содержания может отображать результат 1040 диагностики стресса на основании анализа изображения лица и результат 1042 диагностики стресса на основании опроса, как изображено на фиг. 21.

[0118] Настоящее изобретение не ограничивается раскрытыми выше вариантами осуществления, и могут быть сделаны различные модификации и изменения, не отступая от объема формулы изобретения. Например, в вариантах осуществления в качестве примера было объяснено устройство 1 обработки информации, но следует понимать, что функциональные блоки, изображенные на фиг. 9, могут быть организованы в распределенном виде как клиентский терминал 2, серверное устройство 3 и клиентский терминал 4, как изображено на фиг. 6B.

[0119] В системе обработки информации, изображенной на фиг. 6B, одинаковый общий отчет 1020 может отображаться клиентским терминалом 2 пациента и клиентским терминалом 4 лица, проводящего тест, или могут отображаться общие отчеты 1020 с различным содержанием для пациента и лица, проводящего тест. В настоящем варианте осуществления используется термин «показатель стресса», но следует понимать, что это может быть термин, составленный из синонима или антонима термина стресс.

[0120] В настоящем варианте осуществления была описана улыбка, которая является примером выражения лица. Однако настоящее изобретение также может применяться к выражениям лица помимо улыбок. Программное обеспечение и услуги анализа выражения лица, которые выдают степени эмоций по выражению лица, являются хорошо известными методиками. Кроме того, в настоящем варианте осуществления была описана «перекошенность правой стороны лица относительно левой», которая является примером «перекошенности лица», но настоящий вариант осуществления также может применяться к «перекошенности» помимо «перекошенности правой стороны лица относительно левой». Например, смещение вертикального и горизонтального положения углов рта и внешних углов глаз относительно виртуального центра лица может рассматриваться как «перекошенность».

[0121] Как описано выше, настоящее изобретение было описано на основании вариантов осуществления. Однако настоящее изобретение не ограничивается вышеупомянутыми вариантами осуществления, и в рамках формулы изобретения могут быть сделаны различные модификации. Настоящая заявка испрашивает приоритет на основании заявки на патент Японии №2017-196505, поданной 10 октября 2017, которая включена в настоящий документ посредством ссылки.

Промышленная применимость

[0122] Способ оценки стресса в соответствии с настоящим изобретением может оценивать значение показателя стресса простым и неинвазивным способом с использованием PC, планшета, смартфона и т.п., и поэтому он полезен для индивидуального управления стрессом каждым человеком и для надлежащего управления уровнями стресса сотрудников со стороны компаний.

Список обозначений

[0123]

1 устройство обработки информации

2, 4 клиентский терминал

3 серверное устройство

5 сеть

10 блок приема операций

12 блок ввода изображения

14 блок измерения значения улыбки

16 блок извлечения характерных точек

18 блок инструкций

20 блок генерации содержания

22 блок вычисления показателя стресса

24 блок отображения содержания

26 блок хранения показателя стресса

501, 601 устройство ввода

502, 602 устройство отображения

503, 603 внешний интерфейс

503А, 603А носитель информации

504, 604 RAM

505, 605 ROM

506, 606 CPU

507, 607 интерфейс связи

508, 608 жесткий диск (HDD)

509 устройство получения изображений

1000 экран приложения диагностики стресса

1002 рамка

1004 целевое значение улыбки

1006 оцененное значение улыбки

1008 маскирование

1010, 1012 кнопки переключения

1020 общий отчет

1030 экран опроса

1040 результат диагностики стресса посредством анализа изображения лица

1042 результат диагностики стресса посредством опроса

B шина

Группа изобретений относится к медицине, а именно к системам обработки медицинской информации. Предложенная система предписывает компьютеру функционировать как средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении, средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения, средство инструктирования для предоставления пользователю инструкции захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения, средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений множества характерных точек на изображении лица, вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений множества характерных точек, извлеченных средством извлечения, и средство вывода для вывода значения, служащего показателем стресса, вычисленного средством вычисления, при этом средство вычисления вычисляет в качестве значения, служащего показателем стресса, значение, представляющее собой перекошенность лица по множеству характерных точек, полученных из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица. Группа изобретений обеспечивает повышение качества и эффективности обработки медицинской информации. 12 н. и 10 з.п. ф-лы, 24 ил.

1. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:

средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;

средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;

средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;

средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;

вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; и

средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,

при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,

причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении,

при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, и

при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.

2. Носитель информации по п. 1, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.

3. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:

средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;

средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;

средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем отображения сообщения для инструктирования пользователя сделать выражение лица таким образом, чтобы значение выражения лица достигло целевого значения выражения лица, причем целевое значение выражения лица представляет собой значение выражения лица, которое должно быть оценено средством измерения;

средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;

вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; и

средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,

при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда значение выражения лица достигает целевого значения выражения лица,

при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица,

при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, и

опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.

4. Носитель информации по п. 3, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.

5. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:

средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;

средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;

средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;

средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;

вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; и

средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,

при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,

при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией.

6. Носитель информации по п. 5, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.

7. Носитель информации по п. 5 или 6, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.

8. Носитель информации по п. 5, при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.

9. Носитель информации, хранящий компьютерную программу для оценки стресса пациента, предписывающую компьютеру функционировать как:

средство измерения для оценки значения выражения лица пользователя, содержащегося в захваченном изображении;

средство отображения для отображения захваченного изображения и значения выражения лица, оцененного средством измерения;

средство инструктирования для инструктирования пользователя захватить изображение лица пользователя с помощью устройства получения изображения путем назначения значения выражения лица, которое должно быть оценено средством измерения;

средство извлечения для анализа изображения лица пользователя, захваченного устройством получения изображений, и извлечения местоположений характерных точек на изображении лица;

вычислительное средство для вычисления значения, служащего показателем стресса, с использованием местоположений характерных точек, извлеченных средством извлечения; и

средство вывода для вывода значения, служащего показателем стресса, вычисленного вычислительным средством,

при этом вычислительное средство вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, по характерным точкам, полученным из изображения лица, когда пользователь делает выражение лица с назначенным значением выражения лица,

при этом вычислительное средство проводит линию (a1-b1), проходящую через внешний угол (a1) глаза и угол (b1) рта с правой стороны, и линию (a2-b2), проходящую через внешний угол (a2) другого глаза и противоположный угол (b2) рта с левой стороны, на изображении лица, извлеченном средством извлечения в виде характерных точек, и вычисляет в качестве значения, служащего показателем стресса, значение, представляющее перекошенность лица, полученное, когда пользователь делает выражение лица с назначенным значением выражения лица, исходя из угла (θ1), образованного линией (a1-b1) и опорной линией, и угла (θ2), образованного линией (а2-b2) и опорной линией, при этом опорная линия является горизонтальной линией изображения лица или линией центра глаз, проходящей через местоположение центра (c1) правого глаза и местоположение центра (c2) левого глаза на изображении лица, извлеченном в виде характерных точек средством извлечения.

10. Носитель информации по п. 9, причем средство отображения отображает захваченное изображение, маскируя при этом часть лица пользователя, содержащегося в захваченном изображении.

11. Носитель информации по п. 9 или 10, при этом средство инструктирования инструктирует пользователя захватить изображение лица пользователя с помощью устройства получения изображений путем назначения двух типов значений выражения лица, которые должны оцениваться средством измерения, и вычислительное средство вычисляет в качестве значения, служащего показателем стресса, разность значений, выражающих перекошенность лица, по характерным точкам, полученным из соответствующих изображений лица, когда пользователь делает выражение лица с назначенными двумя типами значений выражения лица.

12. Система оценки стресса пациента, в которой серверное устройство и клиентское устройство соединяются через сеть, причем система обработки информации содержит: