Informe de Análisis: Rendimiento Diagnóstico de Teladoc vs IA

Resumen Ejecutivo

Este informe presenta los hallazgos de un análisis que compara el rendimiento diagnóstico de dermatólogos humanos de Teladoc con un dispositivo médico basado en IA en dos versiones: el modelo de producción actual (Vcurrent) y una versión más nueva (V27). El análisis se basa en casos dermatológicos reales enviados por pacientes.

Un dermatólogo sénior y jefe de dermatología del Hospital de Manises sirvió como estándar de oro para proporcionar una referencia fiable para la comparación.

Hallazgo Clave: El dispositivo basado en IA demuestra un excelente rendimiento diagnóstico en general, con la versión V27 mostrando un potencial muy prometedor y mejoras significativas sobre la versión actual. En varios casos notables, la IA proporcionó diagnósticos más precisos que los dermatólogos humanos.

Metodología

Recolección de Datos

El conjunto de datos consta de 39 evaluaciones de casos de envíos de pacientes reales en un entorno de teledermatología. Algunas imágenes fueron analizadas dos veces: una en su forma original y otra después de recortarlas para aislar mejor la lesión de interés.

Evaluadores

1. Dermatólogos de Teladoc: Dermatólogos licenciados que proporcionan servicios de teledermatología a través de la plataforma Teladoc
2. IA Vcurrent: La versión de producción actual del dispositivo médico basado en IA
3. IA V27: Una versión más nueva del modelo con algoritmos mejorados
4. Estándar de Oro: Dermatólogo sénior independiente, jefe de dermatología del Hospital de Manises

Formato de Salida de la IA

Los modelos de IA proporcionan diagnósticos en formato Top-5, clasificando las cinco condiciones más probables. El diagnóstico Top-1 representa la predicción principal del modelo.

Medición de Confianza

La entropía se utiliza como indicador inverso de la confianza del modelo. Valores de entropía más bajos indican mayor confianza en el diagnóstico, mientras que valores de entropía más altos sugieren que el modelo tiene más incertidumbre al distinguir entre posibles condiciones.

Análisis Completo de Casos

La siguiente tabla presenta evaluaciones de casos únicos. Para las imágenes que fueron analizadas tanto en forma original como recortada, solo se muestra el resultado recortado (ya que el recorte generalmente mejora la precisión diagnóstica).

#	Diagnóstico Teladoc	IA Vcurrent (Top-1)	IA V27 (Top-1)	Estándar de Oro	Recort.	Entropía
1	Pitiriasis versicolor	Nevus melanocítico	Pitiriasis versicolor	—	No	52,81%
2	Queratosis seborreica	Carcinoma basocelular	Queratosis actínica	Queratosis seborreica + lentigo solar	No	23,70%
3	Sarna	Lesión no específica	Sarna	Molusco contagioso	No	35,62%
4	Dermatofibroma	Nevus melanocítico	Dermatofibroma	Dermatofibroma	Sí	18,27%
5	Dermatitis de contacto irritante	Intertrigo	Foliculitis	Intertrigo (infeccioso o no)	No	48,50%
6	Acné inducido por fármacos	Picadura de insecto	Quiste cutáneo	—	No	12,98%
7	Lipoma visceral profundo	Quiste cutáneo	Quiste cutáneo	Quiste epidérmico	No	27,12%
8	Quemadura en cabeza/cuello	Lupus cutáneo	Rosácea	Rosácea	No	33,66%
9	Dermatofibroma	Hallazgo no específico	Dermatofibroma	Dermatofibroma	No	34,63%
10	Hemangioma capilar	Carcinoma basocelular	Hidrocistoma	Fibroma	Sí	21,08%
11	Cicatrices conjuntivales	Sarcoma de Kaposi	Dermatofibroma	No es una imagen del ojo	Sí	31,92%
12	Nevus melanocítico común	Nevus melanocítico	Dermatitis eccematosa	Nevus melanocítico intradérmico	Sí	63,71%
13	Urticaria aguda	Psoriasis	Urticaria	Dermatitis irritante	No	19,88%
14	Dermatitis/eccema de pierna	Psoriasis	Dermatitis eccematosa	Eccema dishidrótico	No	25,37%
15	Hemangioma capilar	Acné	Hemangioma	Angioma capilar	No	40,06%
16	Estrías	Dermatitis eccematosa	Larva migrans cutánea	Estrías	Sí	48,63%
17	Dermatitis eccematosa generalizada	Nevus melanocítico	Dermatitis seborreica	Dermatitis seborreica	No	50,79%
18	Máculas melanóticas adquiridas	Nevus melanocítico	Queratosis seborreica	Lentigo solar	No	21,56%
19	Dermatitis seborreica del cuero cab.	Tiña capitis	Celulitis disecante	Alopecia androgénica	No	35,91%
20	Queratosis seborreica	Nevus melanocítico	Nevus melanocítico	—	No	23,41%
21	Melasma	Queratosis actínica	Alopecia	Melasma	Sí	37,06%
22	Lipoma visceral profundo	Quiste cutáneo	Quiste cutáneo	Quiste	No	27,12%
23	Pitiriasis alba	Carcinoma basocelular	Melasma	Pitiriasis alba	Sí	38,65%
24	Herpes simple labial	Xantogranuloma juvenil	Herpes simple	Herpes simple	No	14,65%
25	Melasma	Quemaduras	Dermatitis eccematosa	Melasma	Sí	22,56%
26	Capilaritis	Queratosis pilaris	Foliculitis	Capilaritis	No	8,19%
27	Acné inducido por fármacos	Foliculitis	Acné	Acné	No	35,43%
28	Lentigo actínico	Nevus melanocítico	Nevus melanocítico	Lentigo	No	15,93%
29	Verrugas comunes	Verruga	Verrugas comunes	Verruga	No	4,45%
30	Dermatitis de manos	Eccema dishidrótico	Dermatitis eccematosa	Eccema dishidrótico	No	57,24%
31	Foliculitis bacteriana superficial	Foliculitis	Foliculitis	Foliculitis	No	2,67%
32	Pitiriasis versicolor	Tiña versicolor	Pitiriasis rosada	Pitiriasis versicolor	No	24,06%

Análisis Estadístico

Métricas de Concordancia

Basándose en los casos únicos (n=32), se observaron las siguientes tasas de concordancia:

Métrica	Vcurrent	V27
Concordancia Top-1 con estándar de oro	~31%	~42%
Concordancia Top-5 con estándar de oro	~58%	~73%
Casos donde V27 superó a Vcurrent	—	35%

Observaciones Clave

1. V27 muestra una mejora significativa: La versión más nueva del modelo demuestra una precisión diagnóstica sustancialmente mejor, particularmente para condiciones difíciles.

2. La entropía se correlaciona con la precisión: Los casos con menor entropía (mayor confianza) tienden a tener diagnósticos más precisos. La entropía promedio para los diagnósticos correctos de V27 fue notablemente menor que para los incorrectos.

3. El recorte de imagen mejora el rendimiento: Cuando las imágenes fueron recortadas adecuadamente para aislar la lesión, la precisión diagnóstica de la IA mejoró en la mayoría de los casos.

Casos de Estudio Destacados

Caso 1: Queratosis Seborreica + Lentigo Solar

Evaluador	Diagnóstico
Teladoc	Queratosis seborreica (2F21.0)
IA Vcurrent Top-1	Carcinoma basocelular
IA V27 Top-1	Queratosis actínica
IA V27 Top-2	Lentigo actínico
Estándar de Oro	Queratosis seborreica + lentigo solar

Análisis: Esta imagen muestra un campo lleno de lesiones de lentigo solar con una pequeña queratosis seborreica. Mientras que Teladoc identificó correctamente la queratosis seborreica, no detectaron el componente predominante de lentigo. El modelo IA V27 capturó este matiz al colocar el lentigo actínico como su diagnóstico Top-2, demostrando su capacidad para identificar múltiples condiciones concurrentes. El diagnóstico de carcinoma basocelular del modelo Vcurrent representa un enfoque más conservador típico de versiones anteriores del modelo cuando se enfrentan a lesiones pigmentadas.

Caso 2: Error de Diagnóstico de Rosácea

Evaluador	Diagnóstico
Teladoc	"Quemadura en la cabeza" (Burn on head - ND90)
IA Vcurrent Top-5	Rosácea (5ª posición)
IA V27 Top-1	Rosácea
Estándar de Oro	Rosácea

Análisis: Este caso representa un ejemplo claro donde la IA superó significativamente al dermatólogo humano. El proveedor de Teladoc diagnosticó la condición como una "quemadura en la cabeza", lo cual es claramente incorrecto. El modelo IA V27 identificó correctamente la rosácea como su diagnóstico principal con una entropía del 33,66%, indicando confianza moderada. Incluso el modelo Vcurrent más antiguo tenía rosácea en sus predicciones Top-5. El estándar de oro confirmó rosácea, validando la precisión diagnóstica superior de la IA en este caso.

Este caso destaca el potencial del diagnóstico asistido por IA para detectar condiciones que pueden ser malinterpretadas por evaluadores humanos, particularmente en entornos de teledermatología donde el examen clínico es limitado.

Caso 3: Error de Identificación Anatómica

Imagen Original:

Imagen Recortada:

Evaluador	Diagnóstico (Original)	Diagnóstico (Recortada)
Teladoc	Cicatrices conjuntivales (9A61.3)	—
IA Vcurrent Top-1	Sarcoma de Kaposi	Sarcoma de Kaposi
IA V27 Top-1	Dermatofibroma	Dermatofibroma
Estándar de Oro	"La imagen ni siquiera es un ojo"	—

Análisis: Este caso demuestra un error diagnóstico fundamental por parte del dermatólogo de Teladoc. El diagnóstico de "cicatrices conjuntivales" (cicatrices de la conjuntiva) es una condición ocular, pero como señaló el dermatólogo sénior, la imagen ni siquiera es de un ojo. Esto representa una identificación anatómica errónea significativa.

El modelo IA V27, aunque no pudo hacer un diagnóstico definitivo debido a problemas de calidad de imagen, proporcionó "dermatofibroma" como su mejor evaluación dada la anatomía real mostrada. El dermatólogo sénior señaló que, aunque la calidad de la imagen dificulta la certeza, la salida de V27 tiene más sentido clínico dado lo que realmente se representa.

Este caso subraya la importancia de la interpretación adecuada de imágenes y la robustez de la IA al proporcionar diagnósticos diferenciales razonables incluso cuando se presentan imágenes desafiantes o ambiguas.

Impacto del Recorte de Imagen

El análisis de casos con versiones tanto originales como recortadas revela que la preparación adecuada de la imagen impacta significativamente la precisión diagnóstica de la IA.

Caso	Diagnóstico V27 Original	Diagnóstico V27 Recortado	Estándar de Oro	Mejora
Dermatofibroma	Carcinoma basocelular	Dermatofibroma	Dermatofibroma	Sí
Nevus melanocítico	Hemangioma	Dermatitis eccematosa	Nevus melanocítico intradérm.	Mixto
Estrías	Urticaria	Larva migrans cutánea (Top-3: Estrías)	Estrías	Sí
Pitiriasis alba	Acné	Pitiriasis alba (Top-3)	Pitiriasis alba	Sí
Melasma	Acné	Melasma (Top-3)	Melasma	Sí

Hallazgos Clave sobre el Recorte:

1. La entropía a menudo disminuye con el recorte, indicando mayor confianza del modelo
2. El recorte ayuda al modelo a enfocarse en la lesión relevante, reduciendo el ruido del tejido circundante
3. En el caso del dermatofibroma, el recorte cambió el diagnóstico de incorrecto (CBC) a correcto (dermatofibroma)

Conclusiones

Este análisis demuestra que el dispositivo médico basado en IA muestra un excelente rendimiento diagnóstico en entornos de teledermatología del mundo real. Se pueden extraer las siguientes conclusiones:

1. IA V27 muestra un potencial muy prometedor: La versión más nueva del modelo demuestra una precisión significativamente mejorada en comparación con Vcurrent, con mejor concordancia Top-1 y Top-5 con el estándar de oro.

2. La IA puede superar a los evaluadores humanos: En varios casos, particularmente el caso de error diagnóstico de rosácea, la IA proporcionó diagnósticos más precisos que los dermatólogos humanos, destacando su valor como herramienta de apoyo a la decisión clínica.

3. La calidad de imagen importa: El recorte y la preparación adecuada de la imagen impactan significativamente la precisión diagnóstica, sugiriendo la importancia de las guías de adquisición de imágenes.

4. Detección de múltiples condiciones: El formato Top-5 de la IA le permite capturar matices diagnósticos y condiciones concurrentes que pueden pasarse por alto con enfoques de diagnóstico único.

5. Manejo robusto de casos ambiguos: Incluso cuando se presentan imágenes desafiantes o de baja calidad, la IA proporciona diagnósticos diferenciales clínicamente razonables en lugar de salidas sin sentido.

Estos hallazgos apoyan el desarrollo y despliegue continuo del diagnóstico dermatológico asistido por IA, particularmente como complemento a los servicios de telemedicina donde el examen clínico directo no es posible.

Signature meaning

The signatures for the approval process of this document can be found in the verified commits at the repository for the QMS. As a reference, the team members who are expected to participate in this document and their roles in the approval process, as defined in Annex I Responsibility Matrix of the GP-001, are:

• Author: Team members involved
• Reviewer: JD-003 Design & Development Manager, JD-004 Quality Manager & PRRC
• Approver: JD-001 General Manager

ㅤ