2) участвуют ровно два эксперта
3) участвуют более двух экспертов (+)
4) проводится очная экспертиза
Коэффициент конкордации Кендалла (W) применяют для количественной оценки согласованности ранжировок, выставленных несколькими экспертами одному и тому же набору объектов, признаков или вариантов решения. Он особенно предназначен для ситуации, когда число экспертов составляет три и более: в расчёте одновременно учитывается степень совпадения всех экспертных рангов. Значение W изменяется от 0 до 1: нулевое значение соответствует отсутствию согласованности, а значение, близкое к 1, — почти полному совпадению мнений.
Методика основана на сравнении сумм рангов каждого оцениваемого объекта у всех экспертов с их ожидаемыми значениями. При наличии связанных рангов применяют поправку на одинаковые оценки. Статистическую значимость полученного коэффициента обычно проверяют с помощью критерия χ2 с числом степеней свободы, зависящим от количества оцениваемых объектов. Коэффициент не показывает правильность экспертного решения и не заменяет клиническую или методологическую валидацию; он характеризует именно внутреннюю согласованность группы.
При участии ровно двух экспертов чаще используют коэффициенты ранговой корреляции Спирмена или Кендалла, поскольку они непосредственно оценивают взаимосвязь двух ранжировок. Выбор между очной и заочной формой экспертизы для расчёта W принципиального значения не имеет: определяющим является количество экспертов и порядковый характер оцениваемых данных. Поэтому правильным является вариант, предусматривающий участие более двух экспертов.
| Метод | Число экспертов | Тип оцениваемых данных | Что характеризует |
|---|---|---|---|
| Коэффициент конкордации Кендалла W | Обычно 3 и более | Ранги объектов или вариантов | Общую согласованность мнений всей экспертной группы; диапазон от 0 до 1 |
| Ранговая корреляция Кендалла τ | Преимущественно 2 | Две последовательности рангов | Направление и тесноту связи между двумя экспертными оценками; диапазон от −1 до +1 |
| Ранговая корреляция Спирмена ρ | Преимущественно 2 | Порядковые или ранговые данные | Сходство порядка объектов в двух рядах наблюдений |
| Коэффициент κ Коэна | 2 эксперта | Номинальные категории | Согласие классификаций с поправкой на случайное совпадение |
| Коэффициент κ Флеiss | Более 2 экспертов | Номинальные категории | Согласие нескольких экспертов при распределении объектов по категориям |
| Внутриклассовый коэффициент корреляции | 2 и более | Количественные измерения | Согласованность числовых оценок или измерений, включая вариабельность между экспертами |
При интерпретации коэффициента W необходимо учитывать число экспертов, количество ранжируемых объектов и наличие связанных рангов. Высокая конкордация повышает воспроизводимость экспертного заключения, но не доказывает его клиническую обоснованность. Низкое значение может указывать на неоднозначность критериев, недостаточную подготовку экспертов или неоднородность оцениваемых случаев. Окончательное решение следует принимать с учётом статистической значимости и содержания экспертной процедуры.