miércoles, 19 de junio de 2013

Resultados del MIR por facultades: conclusiones erróneas

Esta mañana estaba leyendo el Twitter, y me encontré con un post del blog GangasMIR (siempre el primero en poner todo), donde se enlaza a unos datos muy interesantes sobre los resultados del MIR por facultades que podéis encontrar aquí.

Parto de la base de que es de agradecer que datos como estos se publiquen, como se lleva años pidiendo desde distintos colectivos. El problema que nos encontramos con la publicación de estos datos, sin incorporar algún análisis/informe/explicación es que puede llevar a que personas o medios, de forma intencional o no, puedan utilizar esos datos para extraer conclusiones erróneas. La labor de difusión no consiste sólo en poner números en una web; aunque para empezar, se agradece.

Bien, yo no soy experto en el tema  (ni siquiera me gusta la palabra experto) pero  me he puesto a ver los datos con un poco de tranquilidad (aunque muy poco tiempo), con la perspectiva de ser datos de la convocatoria MIR a la que me he presentado, y que me resultan cercanos. Voy a intentar sacar las conclusiones que me parecen más interesantes de esta publicación a través de un breve análisis.

En el primer documento vemos los % de aspirantes matriculados en el MIR que terminaron pasando la nota de corte, con un máximo de un 99,0% en UCLM-Ab, y un mínimo de un 75,1% en Cádiz. Está claro que existen diferencias entre facultades, que es algo de Perogrullo, pero que a veces es necesario plasmar. Las facultades con el peso histórico de buenos resultados en el MIR son las que más % de sus estudiantes pasan la nota de corte (UB, UAB, UAM, UNAv…).

En este mismo documento vemos el número de aspirantes con plaza adjudicada, donde se ve también que existen diferencias entre las facultades con una distribución parecida, en las que los % más altos que superan la nota de corte, suelen colocar % más altos en alguna plaza

En las tablas 2 y 3 se ve el % de estudiantes que ha colocado tu Universidad en el grupo denominado débil (debajo del percentil 27), grupo fuerte (por encima del percentil 73), y el grupo medio (ni uno ni otro). En uno de los documentos están los resultados de todos los presentados, y en otro sólo de los aspirantes que superaron la nota de corte (el enlazado en el título).

De nuevo, existen claras diferencias entre las facultades, y las facultades que a nivel clásico se decía que tenían muy buenos resultados repiten en el ranking (UAM, UCLM, UAB, UB y UNAV) parece que están por encima del resto, mientras que UCa, la UEx y alguna más forman un poco “la cola”.

Hace unos años se elaboraba un ranking en el que se dividía a las facultades en 3 grupos según el % que metiesen en ese grupo fuerte, o el que metiera en el grupo débil. Como me parece una aproximación demasiado simplista, no me molesto en hacerlo esta vez. Si creo que merece la pena decir que mientras que las facultades que meten mucha gente en el grupo fuerte, tienden a tener menos gente en el grupo débil, no ocurre lo mismo al revés. La UZ, por ejemplo, se acerca al grupo que meten más estudiantes en el grupo débil; sin embargo, no está en el grupo que menos estudiantes han metido en el grupo fuerte.

LIMITACIONES DE ESTOS DATOS
Falta una serie temporal. Los datos de un solo año no pueden ser fiables para extraer conclusiones globales. La UAH se encontraba en el grupo de los “ways” hace unos años, cuando no se hacían públicos los datos, y sólo teníamos algún documento que se mandaba a los Decanatos, y ahora no está en ese grupo (por las razones que sea, que importan poco ahora).

No tener los datos por recién egresados vs egresados antiguos. Quizá las facultades con más tiempo se pueden ver perjudicadas por estos resultados, asumiendo que los egresados antiguos tienen un comportamiento diferente en el MIR que los recién egresados. Por poner un ejemplo que considero cercano, nos presentamos 244 Licenciados en Medicina por la Universidad de Alcalá (no de Alcalá de Henares, ni el MSSSI sabe el nombre), de los cuáles hemos terminado cogiendo plaza 133, y no llegamos a 140 egresados aproximados.

Faltan los datos del expediente académico. A pesar de la reducción del peso del expediente, sería muy interesante saber qué es lo que pasa, y si el peso puede explicar parte de estas diferencias entre facultades. Pero esto es otra película en la que hay otros peleándose.

Es el examen MIR. Concluir que una facultad es mejor que otra por los resultados del MIR es cuanto menos atrevido, por no decir estúpido. El MIR es una prueba objetiva, que hasta ahora es lo más válido que se ha encontrado, pero no significa que deba ser tomado como un dogma para valorar el conjunto de la educación médica.

CONCLUSIONES
Hay diferencias entre facultades. Está claro que existe un gradiente, y que hay diferencias significativas entre unas y otras.

NO SE PUEDE REALIZAR UN RANKING CON ESTOS DATOS. Es muy peligroso llegar a concluir que la UAM es mejor que la UAB, o que la UCa es peor que la UAH, a partir de esta muestra. Las limitaciones son muchas, y no se pueden concluir cosas que los datos y la realidad no son capaces de decirte. Si se trata con seriedad el asunto, no se llegan a esas conclusiones; si lo haces, es por amarillismo, véase esta noticia o las que pueden salir estos días.

Los datos con la nota de corte pasada son mejor indicador real de los egresados, aunque no elimina el sesgo completamente.

Se necesitan más datos y más experiencias para sacar más conclusiones, aunque es un buen primer paso. Me preocupa ver lo que se intenta concluir con estos datos, y las ganas que hay de producir rankings con lo primero que pasa. La  Educación Médica es un proceso demasiado complejo como para simplificarlo en un solo examen, del que encima van a depender muchos factores además de la Facultad en la que te hayas formado. Sin embargo, estos datos parecen dejar claro que existen diferencias en los resultados del MIR, que pueden significar que hay aspectos modificables y contextuales, que escapan al control del alumno a la hora de conseguir su resultado.

Acepto todas las críticas del mundo, que se trata de un tema en el que pueden haber muchas visiones

sábado, 15 de junio de 2013

Credulidad y superchería

Estaba leyendo el libro que aprovecho para recomendar “La Investigación biomédica y sus laberintos” del salubrista cubano Luis Carlos Silva Ayçaguer (disponible aquí), y me he encontrado con un relato que apareció en el diario alemán Der Spiegel en 1994, y que voy a reproducir a modo de cita:


Durante un viaje de negocios a Nueva York, un hombre de California sufre una súbita y aguda dolencia bucal como consecuencia de la cual se ve obligado a visitar con urgencia a un estomatólogo. Este diagnostica una grave inflamación periodontal e indica un tratamiento de urgencia. 
Antes de recibir acción terapéutica alguna, el enfermo decide consultar telefónicamente a su distant healer, que se halla en el otro extremo del país El sanador se informa detalladamente del caso y coordina con su cliente una consulta a distancia: exactamente a las ocho de la noche, en la habitación de su hotel, el enfermo habría de concentrarse y entrar en “contacto” con el sanador. El terapeuta, por su parte, estaría exactamente a esa misma hora enviando energías positivas y restauradoras al paciente. El hombre de negocios hace lo que se le ha indicado y, unas horas después, el dolor desaparece totalmente. A la mañana siguiente regresa a ver al dentista para que lo examine. El especialista neoyorquino primero no puede creer lo que o ye pero después no puede creer lo que ve: no hay rastros de la infección. ¿Se ha producido una cura milagrosa? Presa del asombro, decide llamar a California y consultar al responsable de tan portentoso efecto psicosomático para preguntarle qué diablos había hecho el día anterior a las cinco de la tarde (ocho de la noche, hora de la costa Este). 
-¿Ayer a las cinco?- preguntó, sin comprender, el sanador. -Sí: ¿cómo procedió para tratar a distancia esa gingivitis?- La respuesta fue:-¿Curación a distancia? ¡Demonios, se me olvidó por completo esa cita-


Desconozco si la anécdota es real o no, poco nos importa para el caso. A pesar de la simplicidad de esta historia, creo que de ella podemos extraer algunos de los elementos que rodean la investigación biomédica, y el proceso de enfermedad:


  • Los charlatanes y el fraude médico, totalmente alejado de la ciencia, escenificado en el distant healer, y sus técnicas para obtener parte de la cuota de mercado de un pobre paciente.
  •  La aparición de los charlatanes y otras técnicas para aprovecharse de los enfermos, tienen parte de su origen en dos hechos: la vulnerabilidad de cualquier persona enferma y el difícil hecho de no conseguir aceptar que la Medicina y la ciencia no tienen cura para ni solución todas las situaciones. Es cierto que las infecciones periodontales sí tienen tratamiento, pero nos olvidamos que no siempre los tratamientos funcionan, y que el proceso de enfermedad es complejo.
  •  El proceso de enfermedad es tan complejo, que sin todavía conocer los mecanismos, hay enfermedades que pueden superarse de forma espontánea (ver aGervas), y el poder del efecto placebo.
  •  Por último, recordar que cuando se prueba un tratamiento en un ensayo, intentas demostrar que el tratamiento es mejor que no hacer nada o mejor que hacer lo que había hasta ahora, no intentas demostrar que todo el mundo que sea sometido a ese tratamiento vaya a superar la enfermedad por ese tratamiento.



Referencias:

Luis Carlos Silva Ayçaguer: La investigación biomédica y sus laberintos: En defensa de la racionalidad para la ciencia del siglo XXI. Editorial Diaz de Santos
Juan Gervas. Cáncer: reivindicación de la emoción en clínica e investigación. Acta sanitaria.