2) коэффициент конкордации (+)
3) Критерий Фишера
4) Т-критерий Стьюдента
Для оценки согласованности мнений более чем двух экспертов применяется коэффициент конкордации Кендалла (W). Он используется при ранжировании нескольких объектов: каждый эксперт присваивает им ранги, после чего анализируется, насколько близки суммарные ранги и порядок предпочтений у всей группы. Значение W находится в диапазоне от 0 до 1: нулевое значение соответствует отсутствию согласованности, а единица — полному совпадению ранжировок.
Математически коэффициент основан на оценке отклонения сумм рангов по каждому объекту от их среднего значения с последующей нормировкой на максимально возможную вариабельность. При совпадении рангов используют поправку на связанные ранги. Статистическую значимость согласованности обычно проверяют с помощью критерия χ² с числом степеней свободы, равным числу оцениваемых объектов минус единица; это позволяет отличить случайное совпадение мнений от устойчивого экспертного консенсуса.
Коэффициент Спирмена предназначен прежде всего для оценки связи между двумя ранжированными рядами, поэтому он не является основным показателем групповой согласованности при числе экспертов более двух. Критерии Фишера и Стьюдента решают другие задачи: сравнивают дисперсии, частоты или средние значения и непосредственно не характеризуют совпадение экспертных ранжировок. Следовательно, правильным показателем в данной ситуации является коэффициент конкордации.
| Метод | Тип данных | Основная задача | Интерпретация результата |
|---|---|---|---|
| Коэффициент конкордации Кендалла W | Ранги нескольких объектов, выставленные несколькими экспертами | Оценка общей согласованности группы экспертов | От 0 до 1; чем выше W, тем более согласованы ранжировки |
| Коэффициент ранговой корреляции Спирмена | Два ранговых ряда | Оценка монотонной связи между двумя оценщиками или переменными | От −1 до +1; отражает направление и тесноту связи, а не групповую конкордацию |
| Критерий Фишера | Количественные данные или таблицы сопряжённости — в зависимости от разновидности критерия | Сравнение дисперсий, анализ вариации либо оценка различий частот при малых выборках | Не предназначен для измерения согласованности экспертных рангов |
| t-критерий Стьюдента | Количественные показатели, обычно близкие к нормальному распределению | Сравнение средних значений в одной или двух группах | Оценивает различия средних, но не степень совпадения экспертных мнений |
| Внутриклассовый коэффициент корреляции (ICC) | Количественные измерения одного объекта несколькими оценщиками | Оценка воспроизводимости и абсолютного согласия измерений | Подходит для непрерывных величин; выбирается с учётом модели ICC и дизайна исследования |
| Коэффициент каппа | Категориальные заключения нескольких оценщиков | Оценка согласия при классификации с поправкой на случайное совпадение | Применяется для номинальных или порядковых категорий, а не для полного набора рангов |
В медицинской кибернетике W применяют при формировании экспертных шкал, выборе приоритетных диагностических признаков и оценке согласия при разработке клинических рекомендаций. Перед расчётом необходимо определить, действительно ли эксперты ранжируют одни и те же объекты по единой шкале. Высокий коэффициент W не доказывает правильность экспертного решения, а указывает только на его согласованность. Поэтому итоговую оценку дополняют проверкой статистической значимости, анализом качества критериев и содержательной экспертизой.