En cualquier protocolo de investigación biomédica, un aspecto fundamental, es guardar la confiabilidad de los procedimientos de medida. Este aspecto no puede ser subsanado por ningún diseño de investigación, de modo que es un aspecto que debe cuidarse desde el comienzo del desarrollo de la idea de investigación.

En este aspecto, un punto muy recurrente es el error de medida que se produce entre dos o más observadores, es decir la variabilidad de la medida debido a este hecho.

Así, un punto crucial es controlar o medir la variabilidad de una medida debida a que esta se hace por más de un observador.

En este sentido, dos aspectos distintos forman parte el estudio de fiabilidad: el sesgo entre observadores entendido como la tendencia de un observador a leer consistentemente valores mayores que otro. Y la concordancia entre observadores, es decir, hasta dónde los observadores coinciden en su medición.

Este último aspecto depende de la naturaleza de los datos (continuos o categóricos), en este artículo se abordará la concordancia entre medidas categóricas. Este objetivo, clásicamente se resuelve utilizando la estadística Kappa.

La estadística Kappa
Supongamos que dos observadores, en forma independiente, clasifican a “n” sujetos de estudio en C categorías excluyentes, así las frecuencias de coincidencia o no coincidenciasse pueden resumir en la siguiente tabla:

Tabla 1

Esta tabla se puede reescribir en términos de proporciones, donde cada celda es transformada a proporción mediante:

Y cada total marginal llevado a proporción es:

Así la tabla 1 se transforma en:

Tabla 2

Notamos que si la concordancia fuera completa, las proporciones de la diagonal (marcadas en letra cursiva) sumarían la unidad, es decir:

Es claro que 0 ≤ π ≤ 1. Por otra parte, como se está asumiendo que los observadores son independientes, la probabilidad de coincidencia por azar para cada celda de la diagonal estará dada por:

Esto es la multiplicación de cada probabilidad marginal.

Con estos conceptos presentamos la fórmula del estadístico Kappa:

La máxima concordancia posible corresponde a κ = 1. El valor κ = 0 se obtiene cuando la concordancia observada es precisamente la que se espera a causa exclusivamente del azar. Si la concordancia es mayor que la esperada simplemente a causa del azar, κ > 0, mientras que si es menor, κ < 0. El mínimo valor de κ depende de las distribuciones marginales.

Para interpretar el valor de κ es útil disponer de una escala como la siguiente en que se han convenido los siguientes valores:

Por ejemplo, supongamos que dos radiólogos informan 100 imágenes ecográficas de la glándula tiroides, obteniéndose la siguiente información:

La salida del análisis de concordancia en STATA versión 12, es la siguiente:

Es decir se observa un acuerdo del 81%, el acuerdo esperado por azar es de 44,12%, el valor del índice K es 0,66 y es significativamente mayor que 0 (p-value = 0,0000), de acuerdo a la escala de valoración de K, se está en presencia de una buena concordancia.