Las encuestas y sus problemas

HowtoLieWithStatisticsPara responder muchísimas preguntas necesitamos medir. A veces, esta necesidad hará que tengamos que transformar nuestras preguntas o nuestros métodos de modo de poder conseguir las respuestas. Como dijo Galileo Galilei:

“Mide lo que se pueda medir y, lo que no, hazlo medible”.

Supongamos que queremos averiguar qué opina la gente sobre algún tema. ¿Cómo hacemos? Fácil, vamos y les preguntamos, ¿no?

Pero las cosas no suelen ser tan sencillas. Necesitamos primero resolver algunas cuestiones:

  1. ¿Qué “gente” nos interesa? Para empezar, medir implica seleccionar, elegir qué queremos medir. Hay que tomar decisiones.
  2. Una vez que decidimos quiénes nos interesan, tenemos que encontrarlos. ¿Sabemos dónde están? ¿Sabemos quiénes son?
  3. Como en general no podemos preguntarles a todos ellos (salvo que podamos hacer un censo), tenemos que elegir una muestra de unos pocos, y esta muestra debe representar adecuadamente al grupo en general. Debemos contruir muestras que no tengan sesgos, que no tengan desvíos.
  4. Incluso si tenemos una muestra representativa de la población general que nos interesa, ¿podemos saber si nos dirán la verdad cuando les hagamos las preguntas? Las personas nos comportamos de maneras muy extrañas cuando sabemos que nos observan. Somos un desastre como sujetos experimentales.

Basta con que nos equivoquemos con uno solo de estos aspectos para que el resultado que obtengamos sea erróneo y nos lleve a conclusiones equivocadas. Por eso, lo primero es asegurarnos de estar haciendo las cosas bien.

El primer capítulo del maravilloso libro “Cómo mentir con estadísticas“, de Darrell Huff, se llama “La muestra con el sesgo incorporado“. Este libro fue escrito en 1954, y sus ejemplos son algo viejos. Pero la esencia de lo que describe sigue siendo increíblemente adecuada a nuestros tiempos.

Para ilustrar el problema concreto de cómo hacer encuestas, tomo los siguientes párrafos de este libro:

CASO 1: Estudio de mercado de revistas

“En cierta ocasión se llevó a cabo una encuesta casa por casa, con la finalidad de conocer el número de lectores de revistas. La pregunta clave de la encuesta era: ¿qué revistas leen los miembros de su familia? Cuando se tabularon y analizaron las respuestas, resultó que a mucha gente le gustaba el Harper’s y muy poca gente leía el True Story. Ahora bien, existían cifras de los editores demostrando claramente que mientras True Story editaba millones de ejemplares, el Harper’s sólo editaba unos cientos de miles. ¿Quizá nos dirigimos a un público inadecuado?, se preguntaron los planificadores de la encuesta. Pero no era así; el cuestionario se había pasado en todos los barrios de la ciudad. La única conclusión razonable fue que muchos de los entrevistados no habían dicho la verdad. Lo único que la encuesta logró revelar fue el grado de snobismo de los informantes.

Si se desea saber lo que lee cierta clase de público, no es informativo preguntárselo a los interesados. Podría obtenerse mejor información visitándolos y diciéndoles que se desea comprar todas las revistas viejas que tuvieran. Después, no quedaría sino comparar el número de revistas de tono universitario y de folletines. E incluso este sistema no informa lo que lee la gente, sino solo aquello con lo que está en contacto.”

CASO 2: Cepillado de dientes

“Por igual motivo, cuando lea otra vez que el norteamericano promedio (se habla mucho de él, y la mayoría de las veces lo que se dice está poco fundamentado) se cepilla los dientes 1,02 veces al día – cifra que se me acaba de ocurrir, pero puede ser tan buena como la facilitada por cualquier otra persona – pregúntese: ¿cómo se ha podido averiguar tal cosa? ¿Acaso una mujer, después de leer en innumerables anuncios acerca de que quienes no se lavan los dientes ofenden a la sociedad, confesará a un desconocido que no suele hacerlo con regularidad?

Estos resultados estadísticos pueden tener significado para quien quiera saber solamente la opinión de la gente acerca de la higiene dental, pero nos dicen bien poco sobre la frecuencia con que las cerdas se aplican a los incisivos.

Se dice que un río no puede sobrepasar el caudal de la fuente que lo origina. Ahora bien, aparentemente podría conseguirse esto si existiera un equipo de bombas escondido en algún lugar. También es verdad que el resultado del estudio de una muestra no puede ser mejor que la muestra estudiada. Cuando los datos han sido filtrados a través de distintas fases de manipulación estadística y reducidas a un promedio expresado en decimales, el resultado empieza a presentar una aureola de convicción que sólo se vería empañada por una revisión cuidadosa de la muestra.”

CASO 3: Elecciones presidenciales

“Examine dos veces lo que lea, y evitará aprender muchas cosas que no son verdad.

Vale la pena tener en cuenta también que la representatividad de una muestra puede ser destruida con gran facilidad tanto por influencia de factores visibles como invisibles. Es decir, incluso en caso de que no pueda demostrarse que existe un sesgo o factor de influencia apreciable, conserve cierto grado de escepticismo sobre los resultados, siempre que haya una posibilidad de influencia en alguna parte. Siempre la hay. Las elecciones presidenciales de 1948 y de 1952 serían suficientes para probar lo que acaba de afirmarse, por si quedase alguna duda.

Para más pruebas, retrocedamos hasta el año 1936, en el que ocurrió el célebre fracaso del Literary Digest. Los diez millones de comunicantes, entre poseedores de teléfono y suscriptores del Digest, que aseguraron a los editores de la desahuciada revista que Landon alcanzaría 370 votos y Roosevelt 161, procedían de una lista que había predicho con acierto la elección de 1932. ¿Cómo podía existir un factor de influencia en una lista que ya había sido probada? Había un sesgo, por supuesto, tal como demostraron a posteriori los universitarios y otros especialistas en “autopsias”: las personas que disponían de teléfono y estaban suscritas a revistas en el año 1936 no eran una sección proporcional de los votantes. Económicamente formaban un grupo especial y formaban una muestra sesgada porque predominaban en ella los votantes republicanos. La muestra eligió a Landon, pero los votantes pensaron de modo distinto.

La muestra básica es la llamada “aleatoria”. Una muestra aleatoria se selecciona al azar a partir de una “población”, vocablo con que el experto en estadísticas describe el conjunto del cual la muestra es una parte. Se toma uno de cada diez nombres de una lista. De un sombrero se extraen cincuenta papeletas dobladas. Se entrevista a una de cada veinte personas que pasan por Market Street. (Pero recuerde que ésta no sería una muestra de la población del mundo, ni de los EE.UU., ni de San Francisco, sino solamente de la gente que pasa por Market Street en ese momento). Una entrevistadora dijo que, para realizar una encuesta de opinión, buscaba a la gente en una estación de ferrocarril porque “en una estación puede encontrarse a toda clase de personas”. Debieron señalarle que las madres con niños pequeños, por ejemplo, debían subrepresentadas en una estación de ferrocarril.

Para comprobar que una muestra es al azar se procede según el criterio siguiente: ¿Cada nombre o cosa del grupo total tiene la misma posibilidad de formar parte de la muestra?

La muestra escogida al azar es la única que puede examinarse con completa confianza para la teoría estadística, pero tiene una desventaja. Es tan difícil y cara de obtener, en muchos casos, que queda descartada por su costo. Un sustituto más económico, usado en todo el mundo para trabajos tales como las encuestas de opinión y estudios de mercado, es la llamada muestra al azar estratificada.

Para obtener esta muestra estratificada se divide la población en partes y se toman grupos proporcionales a las mismas. Y justo ahí empiezan sus problemas: la información acerca de la proporcionalidad tal vez no sea correcta. Usted instruye a los entrevistadores para que hablen con un número determinado de negros, con tal o cual porcentaje de personas que se encuentren en distintos niveles de salarios, con un número especificado de granjeros, etc. Al mismo tiempo, todo el grupo debe dividirse por igual en personas de más de cuarenta años y de menos de cuarenta. Esto suena bien pero, ¿qué ocurre?. Tratándose de blancos o de negros, el entrevistador acertará la mayoría de veces; en cuanto a los ingresos, cometerá un mayor número de errores; y por lo que se refiere a los granjeros, ¿cómo clasificaría usted a un hombre que trabaja en una granja parte de su tiempo y dedica la otra parte a trabajar en la ciudad? Hasta la cuestión de la edad puede presentar algunos problemas, que se solucionan fácilmente entrevistando a las personas que queden claramente por debajo y por encima de los cuarenta. En tal caso, la muestra se verá afectada por la virtual ausencia de quienes se aproximen a los cuarenta y quienes los sobrepasen ligeramente. No hay por donde escapar.

Más aún: ¿cómo se obtiene una muestra al azar dentro de la estratificación? A primera vista, lo mejor es empezar con una lista completa y dirigirse a los nombres que se escojan al azar; pero esto resulta demasiado caro. Por lo tanto, sale usted a la calle, y su muestra se ve sesgada por los que están en casa; va usted de puerta en puerta, y deja de ver a la mayor parte de las personas que tienen un empleo; se dedica a las entrevistas nocturnas, y faltarán los que van al cine o a un club nocturno. La labor de la encuesta de opinión se convierte en una batalla contra las distintas influencias, y libran esta batalla constantemente todas las organizaciones de encuestas con buena reputación. El lector de informes debe recordar que esta batalla nunca se gana. No se debe leer ninguna conclusión en el sentido de que “el 65 % de la población norteamericana” es contrario a una u otra cosa, sin formularse la pregunta: ¿el 65 % de qué población norteamericana?”

CASO 4: Cuestiones raciales

“Los miembros del equipo de investigadores pueden influir en los resultados. Hace unos años, durante la guerra, el National Opinion Research Center envió dos equipos de entrevistadores a hacer preguntas a quinientos negros de una ciudad del Sur. Uno de los equipos estaba formado por entrevistadores blancos y el otro por entrevistadores negros.

Una de las preguntas era: “¿Recibirían los negros mejor o peor trato si los japoneses conquistasen los EE.UU?”. Los entrevistadores negros informaron que 9 % de los entrevistados habían contestado que recibirían “mejor” trato, mientras que los entrevistadores blancos obtuvieron solamente un 2 % de tales respuestas. Y mientras los entrevistadores negros informaron que solo un 25 % creía que los negros recibirían peor trato, los entrevistadores blancos alcanzaban el porcentaje de 45 %.

Cuando se sustituyó en la pregunta a “japoneses” por “nazis”, los resultados fueron similares.

La tercera pregunta exploró actitudes que podían basarse en sentimientos contenidos en las dos primeras. “¿Qué cree más importante? ¿Concentrarse para atacar al Eje, o hacer que la democracia funcione mejor en nuestro país?”. La respuesta de un 39 %, según los entrevistadores negros, fue “atacar al Eje”. Esta misma respuesta fue del 62 % según los entrevistadores blancos.

Nos encontramos ante un desvío producido por factores desconocidos. El más palpable es el que siempre debe tenerse en cuenta cuando se lean los resultados de las encuestas: se trata del deseo de dar una contestación agradable. ¿Sería extraño que al contestar a una pregunta que tiene una connotación de deslealtad en tiempos de guerra, un negro del Sur dijera a un blanco lo que queda bien en lugar de su verdadera opinión? También es posible que los distintos grupos de entrevistadores se dirigieran a distintas clases de personas.

En cualquier caso, los resultados presentan un factor tendencioso que les hace perder todo valor. Usted puede juzgar por sí mismo cuántas conclusiones basadas en encuestas contienen semejantes influencias tendenciosas, lo cual las hace perder todo su valor, y sin que, por otra parte, haya ningún medio de comprobación para desenmascararlas.”

Anuncios

Un comentario en “Las encuestas y sus problemas

  1. Pingback: La violencia machista y la cultura del dato | Cómo Sabemos

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s