Hay una conocida frase en los círculos motivacionales que dice “Fake it ‘till you make it” (Finge hasta que lo consigas), la cual sugiere que al imitar comportamientos como la confianza o el optimismo, uno acaba por poseer esas cualidades. Parece que muchos candidatos a puestos de elección popular se la toman tan en serio que hasta la aplican en los datos que arrojan “sus encuestas”.
Publicar y/o filtrar los propios datos, difundir encuestas con resultados “cuchareados” o insistir en que las encuestas de Facebook son más representativas que las que realizan o financian los medios de comunicación es una de las muchas tácticas que veremos en acción en este periodo electoral. Pero como, afortunadamente, las encuestas de preferencia electoral no son una actividad subjetiva, incierta ni motivacional, contamos con una serie de elementos para poder evaluar su confiabilidad. En esta primera entrega me enfocaré en las encuestas que se realizan en hogares, no en las que se hacen online.
¿En qué debemos poner atención?
Las encuestas serias publican sus notas o vitrinas metodológicas. En ellas transparentan la fecha de realización, el alcance geográfico, el tamaño de muestra y el margen de error. Esta sección nos permite dimensionar encabezados escandalosos como: “X candidato lleva la delantera por 25 puntos”, porque suele pasar que en la nota metodológica leemos que la encuesta no fue nacional, sino entre estudiantes de una universidad, o que la encuesta se realizó un mes antes de su publicación cuando las campañas aún no iniciaban, o tres días antes del debate. Si la casa encuestadora o el medio de comunicación no publican estas notas, tenemos una primera señal de alerta acerca de la confiabilidad de la información.
Así se ven algunos ejemplos de notas metodológicas de encuestas:
Consulta Mitofsky:
Las notas metodológicas contienen los siguientes elementos:
- Cobertura geográfica
Cuando se diseña una encuesta, el cliente o el medio definen su cobertura o alcance geográfico. Algunas veces, por razones tan diversas como legítimas, solo se quieren conocer las preferencias de un estado o solo interesa la información de zonas urbanas y grandes ciudades. Esta información debe estar detallada en la nota metodológica. Conocer esta información es importante, porque, por ejemplo, si la encuesta solo se aplica en Guanajuato, es probable que la preferencia por el PAN sea mucho más alta que si se aplica en la Ciudad de México.
Las encuestas locales son muy valiosas, ya que pueden proveer de información muy precisa sobre grupos determinados (por ejemplo, medir la intención de voto solo en municipios catalogados como indígenas, para determinar el comportamiento electoral de este sector en específico) y permiten hacer ajustes en la campaña de manera localizada. Lo que no se vale es sacar conclusiones generales con base en la información que arrojan estas encuestas locales.
- Marco muestral
Una vez que se ha definido la cobertura geográfica, se considera un “marco” donde está la población que hemos decido considerar. El marco muestral utilizado en las encuestas electorales son las listas nominales de las secciones electorales de la región, ya que cuentan con el número de personas mayores de dieciocho años que pueden votar, y además se encuentra el resultado de la elección. Por ejemplo, se puede tomar el resultado de diputado local de la elección de 2015 para la Ciudad de México como un marco muestral.
No es común que este dato se declare en las especificaciones metodológicas al publicar una encuesta, pero es muy importante para el contexto de los resultados. Es diferente un resultado local de uno federal, así como es distinto utilizar resultados de 2012 a los de 2015.
- Muestra
Una muestra es la parte extraída del marco muestral que se considera como una porción representativa de él. Hasta ahí todo claro. Las preguntas filosas empiezan poco después: ¿Por qué hay encuestas nacionales de 800 casos y otras de 7000? ¿Cuándo se decide que 800 personas, y no 7000, son una porción suficientemente representativa? ¿Es una más válida una que la otra? ¿Cuántos casos se necesitan para tener una muestra confiable? ¿Cómo se selecciona a los encuestados? ¿Por qué encuestaron en mi cuadra y le tocaron a mi vecino y a mí no?
Existen diferentes métodos para seleccionar a esa proporción representativa. En un muestreo probabilístico lo importante de la muestra es que todos los individuos de la población objetivo (país, estado, municipio o distrito) tengan la misma probabilidad de ser seleccionados, es decir que por ejemplo, en una encuesta nacional sea tan probable que sea seleccionada una persona en la Sierra Gorda de Querétaro como una del municipio de San Pedro Garza en Nuevo León.
Existen primordialmente tres estrategias de muestreo probabilístico:
1. Aleatorio simple: Todos los elementos de la población tienen la misma probabilidad de ser elegidos y el método de selección es al azar.
2. Estratificado: Se divide a la población en distintos estratos o subgrupos, según los factores o características que integran a la población, y de cada estrato se selecciona una muestra al azar. Por ejemplo, si queremos analizar las opiniones dentro de una comunidad universitaria, primero se divide a la población en subgrupos –estudiantes, profesores, empleados– y dentro de cada grupo se seleccionan individuos al azar.
3. Conglomerados: Se divide en sectores la superficie de terreno que ocupa la población objeto de estudio, la cual es delimitada en subgrupos geográficos.
En la práctica, las encuestas electorales utilizan una combinación de estrategias donde lo más usado es considerar a las secciones electorales como conglomerados de las que se eligen aleatoriamente secciones para obtener una muestra;
El siguiente paso es la elección de manzanas dentro de cada sección. De entra estas estas manzanas se seleccionan hogares de forma sistemática: por ejemplo, se cuentan cinco casas y en la sexta se busca la entrevista.
Una de las principales fuentes de error, y una las menos estudiadas en nuestro país, es lo que sucede en campo con el trabajo y desempeño de los entrevistadores.
Para saber a quién se va a entrevistar en el hogar, existen distintas metodologías de selección de individuos. La más común es elegir a la persona que cumplió años más recientemente en el hogar. En caso de que no se encuentre, las encuestadoras enfrentan un reto tanto de tiempo como económico. Lo anterior, debido a que regresar a ese hogar a buscar al último cumpleañero del hogar un par de veces implica que los encuestadores se tardarán más tiempo en obtener la información y será más caro para la encuestadora mantener en campo a sus entrevistadores. Esto generalmente no se detalla en una nota metodológica de manera amplia, pero es algo que debemos cuestionar constantemente para saber si podemos confiar en el dato de la encuestadora o no.
- Tamaño de la muestra
El tamaño de muestra es importante, pero generalmente está ligado a una restricción: los recursos económicos disponibles para realizar la encuesta. Sin duda es mucho más costoso levantar 8,000 cuestionarios que 500. En caso de tener recursos ilimitados para una encuesta, entre más casos haya mejor. Sin embargo, es necesario considerar también que el margen de error sea aceptable para el estudio.
- Margen de error (intervalo de confianza)
El margen de error es el grado de precisión que queremos lograr o estamos dispuestos a aceptar a partir de la generalización. Las casas encuestadoras reportan su margen de error con la frase: “Bajo un muestreo aleatorio simple, el margen de error asociado fue de…” ya que es más sencillo el cálculo de un muestreo aleatorio simple, aunque el muestreo haya sido más elaborado como mencionábamos. Se indica utilizando un signo positivo, uno negativo y un número: +/- 3, con un intervalo de confianza de 95%. Esto significa que si una encuesta en la que un candidato obtuvo 40% de la intención de voto se realizara 100 veces en condiciones similares, en 95 de esas 100 el resultado caería en el rango de entre 37% y 43% de intención de voto.
Entender el intervalo de confianza también nos ayuda a comprender que un cambio en intención de voto de 40 a 41% en un mismo periodo de tiempo no refleja necesariamente que la intención de voto haya aumentado un punto porcentual, ya que ambos porcentajes están dentro del intervalo original.
El margen de error depende del tamaño de la muestra y por consecuencia, del tamaño de la población. Pero la relación entre tamaño de la muestra y margen de error no se comporta como dos líneas paralelas, es decir, llega un momento en que la diferencia entre levantar 850 casos o 900 no modifica de forma sustancial el margen de error, y por lo tanto logísticamente es viable quedarse con solo 850 casos.
Es importante mencionar que el margen de error no toma en cuenta otras posibles fuentes de error, como problemas de marco muestral, problemas en campo, problemas de aplicación de metodología de selección de vivienda y de individuo, falseamiento de encuestas por parte de quienes levantan, temor por parte de los individuos para rebelar sus preferencias, problemas de seguridad en determinadas regiones, errores de capturistas o de codificación Estos son errores que no pueden ser medidos únicamente con el margen de error.
- Diseño de cuestionario y preguntas
Las preguntas que se le hacen al encuestado tienen que mantener un equilibrio para no provocar respuestas sesgadas. No es lo mismo preguntar “Si hoy fueran las elecciones para presidente de México, y los candidatos fueran: el ratero de Pedro, el mentiroso de Juan o el honesto de Lalo, ¿por cuál votaría usted?”, que preguntar: “Si hoy fueran las elecciones para presidente de México, y los candidatos fueran: Pedro, Juan y Lalo, ¿por cuál votaría usted?”.[1]
Actualmente las casa encuestadoras utilizan un método llamado “de urna” para medir intención de voto, que consiste en pedir a los encuestados que marquen su voto en una hoja y lo depositen en una urna que llevan los encuestadores. Esto tiene el objeto de reducir los niveles de no respuesta y proveer al encuestado de un escenario lo más parecido al día de la elección.
- Tasa de respuesta
En cualquier vitrina metodológica seria debemos encontrar un apartado sobre la tasa de respuesta. Este porcentaje nos señala el número de personas elegibles que cooperaron con la encuesta realizada. Conocer este porcentaje es importante porque podemos identificar si esperamos algún sesgo de respuesta en las personas que contestaron la encuesta de interés. Generalmente, la no respuesta es una especie de “chivo expiatorio” que los encuestadores utilizan para echarle la culpa a la falta de precisión de sus encuestas. Sin embargo, la industria de las encuestas en nuestro país ha generado poca evidencia sobre este tema.
Estos son elementos fundamentales que debemos considerar a la hora de evaluar una encuesta. Algunas encuestas pueden haberlo hecho todo bien, y algunas casas encuestadoras puedan decir que son las mejores y las más precisas. Pero si no comunican de manera clara y transparente su metodología, podemos poner en duda cualquiera de sus resultados. Existen otras potenciales fuentes de error, que iremos comentando en este espacio.
Ni el renombre ni el prestigio de ninguna casa encuestadora está por encima de la transparencia de las notas metodológicas. Si no están siendo claras con esta información, no nos están informando de nada: nos están pidiendo un acto de fe.
[1] Desde 1994 diversos medios de comunicación y organizaciones internacionales de encuestadores han llamado la atención sobre las push-poll, que en realidad no son encuestas, sino parte de las estrategias de las que echa mano una campaña de desprestigio político. En estas push-poll los votantes reciben llamadas para escuchar lo que parece una encuesta, pero en realidad inducen el voto o proveen información falsa sobre un candidato. Por ejemplo: ¿Había escuchado usted que tal candidato fue denunciado por desviar XX millones y que la PGR lo busca? o ¿escuchó usted que el candidato tal, va a vender la mitad del país si llega a la presidencia?
Politólogo apasionado, creyente de la metodología por encuestas. Director General de la firma de opinión pública Defoe
