Prueba y mejora iterativa de la evaluación de la calidad de aplicaciones de salud mediante la CEN ISO/TS 82304-2: estudio piloto de fiabilidad entre evaluadores

Recientemente, la revista JMIR ha publicado Testing and Iterative Improvement of the CEN ISO/TS 82304-2 Health App Quality Assessment: Pilot Interrater Reliability Study. Un estudio que tiene como objetivo desarrollar y perfeccionar el manual de evaluación y la guía para desarrolladores de la CEN ISO/TS 82304-2 mediante pruebas en cinco países. El área de Activos Digitales para la ciudadanía de la Fundación TIC Salut Social ha participado activamente.

El estudio está motivado por el uso creciente de aplicaciones de salud y las preocupaciones derivadas sobre su seguridad, eficacia y privacidad de datos. Este hecho ha propiciado el desarrollo de diversos marcos de evaluación de calidad. No obstante, la ausencia de un estándar reconocido internacionalmente ha provocado evaluaciones múltiples y repetitivas para los desarrolladores que desean acceder a diferentes mercados.

Estudio de estandarización de la norma europea

La evaluación de aplicaciones de salud basada en la norma CEN ISO/TS 82304-2 pretende resolver la ausencia de un estándar internacional común, proporcionando un marco aceptado globalmente y aplicado por organizaciones de distintos países.

Con esta perspectiva, se han evaluado 24 aplicaciones en tres fases o rondas diferentes. Cada aplicación ha sido analizada por dos organizaciones distintas y se ha medido la fiabilidad entre evaluadores. Además, se ha recopilado información sobre el tiempo requerido para la evaluación y la claridad de las guías.

Los resultados mostraron una mejora en la fiabilidad entre evaluadores entre la primera y la segunda ronda, manteniéndose estable en la tercera, con un 80% de las preguntas alcanzando un acuerdo moderado o superior.

En la tercera ronda, los desarrolladores necesitaron una media de 8 horas y 59 minutos para preparar la información, mientras que los evaluadores invirtieron una media de 8 horas y 46 minutos en la revisión de la información proporcionada. La claridad del manual y de la guía fue bien valorada, con puntuaciones cercanas a «completamente claro».

Este estudio representa el primer intento de analizar la coherencia de la evaluación de apps de salud a nivel internacional. Los resultados sugieren que la norma CEN ISO/TS 82304-2 tiene el potencial de establecer un marco de evaluación estandarizado que reduzca la duplicidad de trabajo, facilite el acceso a mercados más pequeños y aumente la confianza en las apps de salud de calidad.