Medida por medida

Un buen lugar para hacer un experimento

Un buen lugar para hacer un experimento

La ciencia no es solo el conjunto de conocimientos que, como humanidad, fuimos obteniendo a lo largo de nuestra historia, sino también un conjunto de herramientas metodológicas y mentales que nos sirven para tratar de entender mejor el mundo que nos rodea.

Cuando pensamos la ciencia como un proceso, como una serie de herramientas, podemos ver que sirve también para averiguar si algo funciona o no. En este sentido, la ciencia aporta mucho para evaluar en particular si las políticas públicas son o no efectivas, ya que nuestra intuición o nuestro sentido común no suelen ser muy confiables. Ya hemos discutido esto anteriormente, por ejemplo acá y acá.

Una de las mejores maneras de evaluar la efectividad de una política es realizar pruebas controladas aleatorizadas, que en inglés se conocen como randomised controlled trials y se abrevian con la sigla RCT. A continuación reproducimos completo y en español un breve artículo sobre este tema que fue publicado en The Economist.

Medida por medida

Cómo evaluar todo, desde adolescentes vagos a burócratas corruptos

Los investigadores están tan seguros como se puede estar de que una combinación particular de transferencias de efectivo, bienes (en general vacas) y entrenamiento logra sacar a las personas de la pobreza extrema. Esto no es solo un triunfo de las ONGs que encontraron la fórmula. Es también otro éxito de las pruebas controladas aleatorizadas y de su uso controvertido, pero cada vez más frecuente, en la evaluación de políticas sociales.

En los años 1920, Ronald Fisher, un estadístico inglés, propuso una manera de medir los efectos de usar un fertilizante en papas. En vez de colocar fertilizante en campos enteros y estudiar el resultado, dividió los campos en pequeñas parcelas y decidió al azar cuáles serían tratadas. Dado que los factores externos (como la calidad del suelo o la sombra) no diferían sistemáticamente entre las parcelas tratadas y las no tratadas,  cualquier diferencia en el rendimiento se debería probablemente al fertilizante. Las ideas de Fisher fueron tomadas por los estadísticos que hacían control de calidad en las fábricas de municiones durante la Segunda Guerra Mundial. Luego del fin de la guerra, fueron incorporadas por la medicina.

Hoy las pruebas controladas aleatorizadas (en inglés randomised controlled trials o RCTs) son de uso rutinario en las economías en desarrollo. Como con las plantas de papa, las personas que cumplen los requisitos para recibir ayuda son asignadas al azar a grupos de tratamiento o grupos control. La diferencia entre los resultados de los dos grupos se usa para evaluar la eficacia de la intervención. El Abdul Latif Jameel Poverty Action Lab en Massachusetts, conocido como J-PAL, comenzó o completó ya 689 RCTs. A principios de este año se estimó que el número de trabajos publicados sobre desarrollo, que involucraban evaluaciones formales de impacto (que a menudo, pero no siempre, son RCTs), había aumentado unas diez veces entre el año 2000 y 2012.

Los gobiernos de países emergentes están encargando RCTs en parte porque otros lo hacen, dice Esther Duflo, de J-PAL. A medida que las pruebas se hacen más frecuentes, es más sencillo encontrar investigadores con experiencia. También ayuda que algunos estudios hayan tenido resultados sorprendentes. J-PAL atrajo mucha publicidad, y también algo de resentimiento, cuando obtuvo evidencia de que los microcréditos apenas estimulan el consumo.

Los RCTs se están usando con cada vez mayor frecuencia para evaluar políticas sociales en Estados Unidos, Francia y Escandinavia. En Inglaterra hubo una avalancha de evaluaciones de innovaciones educativas, como una llamada “Teensleep”, en la que el grupo de tratamiento empieza la escuela a las 10 am (la idea es que aprenden mejor si duermen un poco más). A menudo los resultados son decepcionantes, pero no por eso son menos importantes. Un experimento aleatorizado hecho en New York mostró que pagarle más a los maestros de una escuela si sus alumnos tienen mejor desempeño no provoca mejores rendimientos.

Pero el mundo emergente permanece muy adelante. En Inglaterra y Estados Unidos, los RCTs se usan mayormente para evaluar pequeños ajustes en políticas y no reformas profundas. En los países más pobres, por el contrario, se utilizan para diseñar sistemas de bienestar y medir la corrupción. Oriana Bandiera, que estudió el programa BRAC en Bangladesh, está discutiendo con el gobierno de Zambia la posibilidad de hacer una prueba aleatorizada sobre la decentralización política. Las dificultades técnicas serán inmensas. Pero a pesar de eso, dice ella, convencer a Zambia de embarcarse en esto es mucho más sencillo que lo que sería lograr que Inglaterra lo hiciera.

Versión completa en español del artículo original publicado en The Economist el 12 de diciembre de 2015.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s