УСТРОЙСТВО ДЛЯ ВЫЧИСЛЕНИЯ КОЭФФИЦИЕНТА СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ Российский патент 2023 года по МПК G06F17/18 

Изобретение относится к вычислительной технике и может быть использовано для содержательного анализа переведенной текстовой информации.

Известно устройство для взаимодействия с экспертами при определении кардинальной согласованной оценки (см. RU 2256214 С1, 16.06.2004), содержащее входные регистры, элементы НЕ, блоки сравнения, счетчики, блоки индикации, элементы задержки, сумматоры, блоки деления, элементы ИЛИ, коммутаторы, блоки вычитания. Данное изобретение направлено на повышение уровня согласованности множества индивидуальных экспертных оценок и точности групповой кардинальной экспертной оценки. Для этого сначала определяется относительная компетентность экспертов (ОКЭ) по соответствующей формуле. Затем получают индивидуальные экспертные оценки. После этого оценивается спектр S, (i=1, …, n) экспертных оценок путем сравнения величины β_j с фиксированными значениями шкалы (n - количество делений шкалы). Затем производится суммирование показателей оценок β_j по фиксированным делениям шкалы. Вычисляется коэффициент согласованности (КС) K_n(S) спектра экспертных оценок по определенной формуле. В дальнейшем определяется достаточность степени согласованности экспертных оценок путем сравнения величины КС с выявлением рекомендаций изменить свои показания тому эксперту, у которого наименьшая относительная ОКЭ. Если значение индивидуальной оценки не изменилось, то она исключается из метода экспертных оценок (МЭО), а эксперт устраняется из бригады. Если это значение меняется, то вычисляют новое значение КС. После этого проверяют выполнение неравенств K_п(S)<Т_о; Т_о<K_п(S)<T_п; Mi>3; где K_п(S) - коэффициент согласованности, Т_о - порог обнаружения, Т_п - порог применения, Mi - число оценок. Описываемый процесс продолжают до тех пор, пока выполняется неравенство Mi>3. Если на некотором шаге будет иметь место неравенство K_п(S)>Т_п, то МЭО считается значимым, а среднюю оценку, определенную для него, принимают в качестве согласованной агрегированной экспертной оценки.

Недостатком этого известного устройства можно считать сложность проведения процедуры согласованности экспертной оценки, как по теоретической части, так и по аппаратной.

Наиболее близким техническим решением к предлагаемому является принятое авторами за прототип устройство для обработки экспертных оценок (см. SV 765811 А1, 23.09,1980). Основными блоками данного устройства, обеспечивающего расширение функциональных возможностей устройства за счет определения коэффициентов ранговой корреляции при наличии связанных рангов, являются клавишный блок ввода, шифраторы, блок деления, блок индикации, генератор импульсов, блок памяти, блок ранжирования, блок вычисления коэффициента, блок определения согласованности мнений, два сумматора, блок вычитания, квадратор, блок выбора связанных рангов и блок синхронизации. Рассматриваемое устройство позволяет автоматически, оперативно и объективно обрабатывать экспертные оценки при определении весов объектов (признаков) и при выработке решений о предпочтительности какого-либо объекта (признака) за счет непосредственного ввода в устройство индивидуальных оценок экспертов, расчета их средних значений и коэффициента конкордации, а также расчета коэффициента ранговой корреляции с учетом наличия связанных рангов - при определении согласованности мнений двух групп экспертов.

К недостаткам этого известного технического решения следует отнести сложности, связанные с определением средних значений индивидуальных оценок экспертов, коэффициента конкродации и расчет коэффициента ранговой корреляции с учетом наличия связанных рангов.

Техническим результатом предлагаемого устройства является упрощение процесса анализа качества переведенных текстов и вычисления коэффициента согласованности мнений экспертов.

Технический результат достигается тем, что в устройство для анализа качества переведенных текстов, содержащее клавишный блок ввода, первый блок деления, первый блок вычитания, первый блок вычисления коэффициента, первый и второй сумматоры, введены второй и третий блоки деления, блок умножения и логарифмирования, первый и второй комплексные формирователи, второй блок вычисления коэффициента, второй блок вычитания, причем первый выход клавишного блока через первый сумматор соединен с первым входным плечом блока умножения и логарифмирования, второй выход клавишного блока через второй сумматор соединен со вторым входным плечом блока умножения и логарифмирования, третий и одиннадцатый выходы клавишного блока через первый блок деления подключены к третьему входному плечу блока умножения и логарифмирования, четвертый и пятый выходы клавишного блока соответственно соединены с первым и вторым входными плечами первого комплексного формирователя, выход которого подключен к первому плечу второго блока деления, второе плечо второго блока деления соединен с выходом блока умножения и логарифмирования, выход второго блока деления подключен к первому входу первого блока вычитания, второй вход которого соединен с десятым выходом клавишного блока, шестой, двенадцатый, седьмой и тринадцатый выходы клавишного блока через первый блок вычисления коэффициента и второй блок вычисления коэффициента соединены соответственно с первым и вторым плечами первого и второго комплексных формирователей, восьмой и девятый выходы клавишного блока подключены соответственно к третьему и четвертому плечам второго комплексного формирователя, выход второго комплексного формирователя соединен с первым входом третьего блока деления, второй вход которого подключен к выходу блока умножения и логарифмирования, выход третьего блока деления соединен с первым входом второго блока вычитания, второй вход которого подключен к двенадцатому выходу клавишного блока.

Сущность заявляемого изобретения, характеризуемого совокупностью указанных выше признаков, состоит в том, что на основе проведения энтропийно - информационного анализа ранжируемых экспертами объектов, вычислением коэффициента согласованности мнений экспертов, можно обеспечить автоматический анализ качества переведенных текстов.

Наличие в заявляемом устройстве совокупности перечисленных существующих признаков, позволяет решить задачу анализа качества переведенных текстов благодаря вычислению коэффициента согласованности мнений экспертов с желаемым техническим результатом, т.е. упрощением процесса анализа качества переведенных текстов.

На чертеже приведена функциональная схема устройства.

Устройство содержит клавишный блок ввода 1, первый сумматор 2, второй сумматор 3, первый блок деления 4, блок умножения и логарифмирования 5, первый блок вычисления коэффициента 6, второй блок вычисления коэффициента 7, первый комплексный формирователь 8, второй блок деления 9, первый блок вычитания 10, второй комплексный формирователь 11, третий блок деления 12, второй блок вычитания 13.

Предлагаемое устройство предназначено для анализа качества машинных переведенных текстов и его принцип действия заключается в использовании информационной энтропии, согласно которой, необходимым является вычисление коэффициента конкордации. Как правило, для ранжирования текстов - переводов привлекают экспертов и, по согласованности их мнений определяют качество машинного перевода текста. В силу этого в рассматриваемом случае вычисление коэффициента согласованности (конкордации) мнений экспертов при ранжировании того - или другого текста, даст возможность оценить качества анализируемого переведенного текста.

Как известно, коэффициент конкордации можно выразить как W_э=1-H/H_max, где Н - энтропия, вычисляемая по формуле

N - число письменных текстов, L - число экспертов, Fn(L) число групп экспертов, присвоивших объекту O_n один и тот же ранг r_ni, P_ni - оценка вероятности того, что i-ая группа экспертов присвоит n-му объекту один и тот же ранг r_ni. Величина P_ni вычисляется в виде отношения количества экспертов L_ni, приписавших объекту O_n один и тот же ранг r_il, к общему числу экспертов L: P_ni=L_ni/L.

Определение максимального значения энтропии H_max сводится к тому, что сначала необходимо оценить целое частное от деления числа экспертов на число письменных текстов Q, а затем остаток от деления числа экспертов на число объектов R. Следовательно, можно записать L=N*Q+R. После этого определяем число объектов, получивших по Q единиц и число объектов, получивших по Q+1 единиц. Тогда в рассматриваемом случае для максимального значения энтропии можно принимать

Здесь - максимальное значение информационной энтропии для письменных текстов, получивших по Q единиц, а - максимальное значение энтропии для письменных текстов, получивших по Q+1 единиц. После вычисления соответствующими формулами и с учетом допущения, например, Q=0, то L=R и H_max Q=0 для H_max можно записать

При Q≥1, H_max примет следующий вид:

Работу предлагаемого устройства проиллюстрируем сначала на численном примере.

В рассматриваемом случае для расчета коэффициента согласованности мнений экспертов-переводчиков, воспользуемся ранговой системой от 1-го ранга до 3-х рангов. При этом принимается, что первый ранг по значимости ниже, чем 2, а второй ранг - чем третий ранг. Кроме того, все эксперты, привлеченные к ранжированию машинного текста переводов, должны обладать высоким уровнем профессиональной компетентности.

Пусть число экспертов равно 3, а число объектов равно 1, т.е., L=3, N=1. После этого составляется матрица, показывающая согласованность мнений экспертов в зависимости от рангов и объекта.

Из приведенной матрицы видно, что по первому рангу два эксперта, из трех, сошлись во мнениях (максимум), т.е. для данного случая соответственно к расчету подлежит параметр r₁₁, т.е. первый ранг по объекту. Следовательно, для параметров из формулы (1) соответственно получаем, что Fn(L)=1; P_ni=L_ni/L=2/3=0,6. После постановки этих цифровых значений в формулу (1) с учетом сумм, равным единицам, имеем Н=-1*1*0,6log0,6=0,13.

Вычисление H_max предусматривает сначала определение параметров Q и R. Из матрицы 1 видно, что эти параметры соответственно равны 0 и 1. Тогда в этом случае для определения H_max воспользуемся формулой (2). Следовательно, получаем H_max=047. С учетом этого, отношение Н/H_max=0,276. В результате W_э=1-H/H_max=1-0,276=0,724. Значение этого коэффициента дальше может быть использовано для оценки качества переведенного текста.

Согласно выше приведенному расчету по определению коэффициента конкордации, работа данного устройства производится следующим образом. Для вычисления первой суммы из выражения (1), так как число переводов равно единице, с первого выхода клавишного блока ввода 1 сигнал, соответствующий единице, подается на вход первого сумматора 2. Для вычисления второй суммы из выражения (1) с учетом того, что число групп экспертов (Fn(L) равно единице, сигнал, соответствующий единице, со второго выхода клавишного блока ввода, подается на вход второго сумматора 3. Для вычисления величины P_ni с третьего и одиннадцатого выходов клавишного блока ввода сигналы, соответствующие числам экспертов (L=3) и экспертов, сошедших во мнениях (L_ni=2), подают соответственно на первый и второй входы первого блока деления 4. Далее выходные сигналы первого, второго сумматоров и первого блока деления подают соответственно на первое, второе и третье плеча блока умножения и логарифмирования 5. После проведения соответствующих операций в этом блоке, его выходной сигнал направляют на второе плечо второго блока деления 9. В устройстве для вычисления параметров Q и R, сигналы с шестого, двенадцатого, седьмого и тринадцатого выходов клавишного блока ввода, соответствующие числам экспертов и письменных текстов, подают соответственно на первое и второе плечо первого блока вычисления коэффициента 6 и второго блока вычисления коэффициента 7. Выходные сигналы первого и второго блоков вычисления коэффициентов, характеризующие величины коэффициентов Q и R, далее поступают на первое и второе плеча соответственно первого комплексного формирователя 8 и второго комплексного формирователя 11. Одновременно с этим, сигналы, соответствующие числам экспертов и письменных текстов, с четвертого, пятого, восьмого и девятого выходов клавишного блока ввода соответственно подают на третье и четвертое плеча этих двух формирователей. После этого выходной сигнал первого комплексного формирователя, обусловленный равенством Q=0 и вычисленный по формуле (2), поступает на первое плечо второго блока деления. Сигнал с выхода этого блока, осуществляющий операцию Н/H_max, далее поступает на первый вход первого блока вычитания 10. Так как на второй вход этого блока поступает сигнал с десятого выхода клавишного блока ввода, соответствующий единице, то благодаря этому в этом блоке производится операция выражения W_э=1-H/H_max. Другими словами по выходному сигналу первого блока вычитания вычисляется коэффициент согласованности мнений экспертов при Q=0.

В случае Q≥1, определение коэффициента W_э сводится к тому, что благодаря поступлениям выходных сигналов первого и второго блоков вычисления коэффициентов и клавишного блока ввода (восьмой и девятый выходы), на соответствующие плеча второго комплексного формирователя 11, на его выходе образуется сигнал, рассчитанный по формуле (3). Далее этот сигнал поступает на первый вход третьего блока деления 12. Согласно устройству на второй вход этого блока поступает сигнал с выхода блока умножения и логарифмирования, характеризующий величину Н, благодаря этому на выходе третьего блока деления образуется сигнал, обусловленный делением Н/H_max. После этого для вычисления коэффициента W_э, выходной сигнал с выхода третьего блока деления подается на первый вход второго блока вычитания 13. В силу того, что сигнал с двенадцатого выхода клавишного блока ввода, соответствующий единице, поступает на второй вход второго блока вычитания, все это вкупе дает возможность определить коэффициент конкордации согласно формуле W_э=1-H/H_max.

По принципу действия предлагаемого устройства, цифровые значения клавишного блока ввода выбираются по данным матрицы, характеризующей числа экспертов и ранжируемых объектов, а также значений параметров

Fn(L) и L_ni.

Таким образом, в предлагаемом техническом решении вычислением коэффициента согласованности мнений экспертов, можно обеспечить упрощение процесса анализа качества переведенных текстов.

Область практического применения предлагаемое устройство широка, оно может быть использовано еще для оценки степени информационной нагрузки, например, операторов, связанных со сложными и трудоемкими задачами, требующими максимального умственного напряжения.

Изобретение относится к вычислительной технике и может быть использовано для содержательного анализа переведенной текстовой информации. Техническим результатом предлагаемого устройства является упрощение процесса анализа качества переведенных текстов и вычисления коэффициента согласованности мнений экспертов. Технический результат достигается тем, что в устройство для анализа качества переведенных текстов, содержащее клавишный блок ввода, первый блок деления, первый блок вычитания, первый блок вычисления коэффициента, первый и второй сумматоры, введены второй и третий блоки деления, блок умножения и логарифмирования, первый и второй комплексные формирователи, второй блок вычисления коэффициента, второй блок вычитания. 1 ил.

Устройство для анализа качества переведенных текстов, содержащее клавишный блок ввода, первый блок деления, первый блок вычитания, первый блок вычисления коэффициента, первый и второй сумматоры, отличающееся тем, что в него введены второй и третий блоки деления, блок умножения и логарифмирования, первый и второй комплексные формирователи, второй блок вычисления коэффициента, второй блок вычитания, причем первый выход клавишного блока через первый сумматор соединен с первым входным плечом блока умножения и логарифмирования, второй выход клавишного блока через второй сумматор соединен со вторым входным плечом блока умножения и логарифмирования, третий и одиннадцатый выходы клавишного блока через первый блок деления подключены к третьему входному плечу блока умножения и логарифмирования, четвертый и пятый выходы клавишного блока соответственно соединены с первым и вторым входными плечами первого комплексного формирователя, выход которого подключен к первому плечу второго блока деления, второе плечо второго блока деления соединен с выходом блока умножения и логарифмирования, выход второго блока деления подключен к первому входу первого блока вычитания, второй вход которого соединен с десятым выходом клавишного блока, шестой, двенадцатый, седьмой и тринадцатый выходы клавишного блока через первый блок вычисления коэффициента и второй блок вычисления коэффициента соединены соответственно с первым и вторым плечами первого и второго комплексных формирователей, восьмой и девятый выходы клавишного блока подключены соответственно к третьему и четвертому плечам второго комплексного формирователя, выход второго комплексного формирователя соединен с первым входом третьего блока деления, второй вход которого подключен к выходу блока умножения и логарифмирования, выход третьего блока деления соединен с первым входом второго блока вычитания, второй вход которого подключен к двенадцатому выходу клавишного блока.