Como influye la Estadística en nuestras vidas VI - Ejemplos con (pocos) números 3

Las Elecciones catalanas. 21 de diciembre de 2017.

Ayer y hoy. De la confianza a la desconfianza absoluta en las previsiones

Viene de Como influye la Estadística en nuestras vidas V - Ejemplos con (pocos) números 2. Las predicciones electorales que no predicen. 

 A ver, no me he ido por los cerros de Úbeda mezclando fechas para desarrollar el tema central de este post. En 2008 aún no se conocía en España el Magic Town de Ohio (un pueblo de USA cuyos porcentajes de votación coinciden con los de todo el país), razón por la cual no hay referencias a ello. Por otro lado, esas fueron las últimas elecciones estatales españolas donde las encuestas, tanto públicas como privadas, aún eran "confiables" (los resultados de esas encuestas eran razonablemente cercanos a los resultados electorales). Después de los atentados del 11 de marzo de 2004 en Madrid, 3 días antes de las elecciones generales y que al parecer, supusieron un revulsivo que alteraró la intención de voto de la gente donde el Partido Popular (PP) tenía a su favor la gran mayoría de las encuestas; finalmente,quien obtuvo más votos fue el Partido Socialista (PSOE).

 Para las elecciones generales del 2011 comenzaron a ocurrir cosas que amenazaban el bipartidismo. Tradicionalmente, además de los dos grandes partidos había un tercero a nivel estatal que solía ser la tercera opción (Izquierda Unida - IU) aunque muy, muy lejos de las otras dos (con una media de aproximadamente el 5% de los votos en cada elección). Ese año se presentaba como nueva opción por la derecha el partido Unión, Progreso y Democracia (UPyD, nacido en 2007). Ahora la población disponía de 4 opciones y el bipartidismo comenzaba a tomar en serio a los "pequeños".



 Así que el proceso requería no solo datos confiables, también "interpretaciones adecuadas" o interesadas, esto es, que realzan las partes positivas y soslayan cualquier otra interpretación, para mostrar a los posibles votantes: Es tradición que los partidos políticos españoles siempre resulten ganadores de "algo", así sea de la irrelevancia más absoluta. Esta manera creativa, ingeniosa o innovadora de mostrar sus resultados ha acabado con la confianza de la gente sobre estos resultados, pero tiene otro grave problema: La velocidad con la que se ha modernizado la sociedad, que obliga a las empresas a actualizar sus metodologías (no es fácil, ciertamente, pero son los primeros interesados en ello).

¿Cómo se pueden desviar tanto las previsiones respecto a los resultados finales? Personalmente, creo que una parte se debe al entusiasmo de los partidos en mostrar lo bien que van, así como el uso de metodologías inadecuadas (me gustaría saber cuánto presionan los partidos para evitar tal o cual pregunta, perfil demográfico, etc.) o desfasadas.

Actualización de la metodología 

 

En el 2008, las conocidas como "encuestas a pie de urna", que servían para que las televisoras dieran los resultados previstos a lo largo de la jornada electoral, justo en el momento de cerrar urnas; se daban los resultados a partir de ese momento para no influir en la decisión de los votantes. Dichas encuestas funcionaban así (lo conocí de primera mano):

- La empresa analizaba los resultados electorales anteriores para ver qué urnas podían representar a los diferentes sectores poblacionales.
- Enviaba encuestadores a los puntos de votación elegidos. Estos encuestadores debían hacer las encuestas desde el momento de abrir el punto de votación hasta su cierre.
- Siguiendo la metodología proporcionada por la empresa, los encuestadores debían recabar la información solicitada. Esta metodología estaba diseñada no solo para obtener la mayor información posible, también para evitar la mayor cantidad de sesgos posibles, incluyendo los relacionados con el encuestador.
- Cada cierto tiempo, el encuestador debía enviar esta información por vía telefónica. La empresa
hacía todo esto en papel y las comunicaciones desde teléfonos públicos (sí, aún existían bastantes, así como personas que no usaban teléfono móvil).

En ese momento, la metodología de las encuestas daba resultados más que aceptables, pero en la actualidad eso ha cambiado. Los profesionales tienen su opinión respecto a eso [9]; también diré algo al respecto hacia el final del post.

Actualmente no sé si se las encuestas a pie de urna se hacen de esta manera, pero para mostrar cuanto se ha de actualizar en metodología me quedo con la encuesta que hizo el CIS [3] para las elecciones del 21 de diciembre de 2017 en Catalunya. La encuesta completa se puede ver en [10] y el avance de noviembre en pdf [11].

Es muy importante recordar que las encuestas muestran tendencias, que si no ocurre nada extraordinario (recordemos el 11m en las elecciones del 2004), suelen mostrar una evolución bastante aceptable de la intención de voto, que finalmente se da el día de la votación y hay personas que pueden cambiar su decisión, desde ir a votar hasta el partido al que le dan (o no) el voto. De este último, me quedo con la siguiente partes:

Fig, 10. Disclaimer del CIS sobre la metodología y las conclusiones 

                               a las que queramos llegar a partir de estos datos. Pág. 24 de [10].

Entonces, vamos a lo nuestro: ¿Cómo se recogió la información para esta encuesta?. Para que una muestra se pueda considerar representativa de la población, debe cumplir una serie de requisitos. Los más básicos son la aleatoriedad y la proporcionalidad de las probabilidades:

Fig. 11. La metodología. Página 4 de [10].
Los cuestionarios por entrevista telefónica son el punto caliente.

La metodología es la típica en estos casos. En el enmarcado pequeño se ve el mayor de los problemas: Los cuestionarios se aplicaron a través de entrevista telefónica. Entrevista telefónica. Sí, tal como se ve. Según yo, algo tan importante no debía usar esta metodología porque se cuestiona desde hace mucho tiempo:

• La cobertura. Las personas que no tienen teléfono quedan excluidas de la encuesta, lo cual introduce un sesgo de cobertura, pues los que no tienen teléfono no están representados.
•  Respuestas diferentes. Es conocido que las entrevistas personales pueden tener respuestas diferentes a las mismas preguntas segun si la entrevista es cara a cara o por teléfono. Tiene relación con las altas tasas de rechazo a dar información por teléfono [12.13].
• Veracidad de la información.Aunque la información que suele interesar a la gente es la relacionada con la economía, la política, etc., hay información personal que es relevante para la encuesta: edad, sexo, número de personas que viven en la misma casa... Si no se da esta información real, produce una grave distorsión en los resultados de la encuesta pues de haber necesidad de reemplazar a algun miembro de los habitantes, la metodología tendría que ser diferente (cuotas) [13].  
• Las posibles diferencias entre usuarios de telefonía móvil y fija tienen factor de ponderación, lo que significa que ya se toman en cuenta posibles diferencias (página 3). ¿Estas diferencias son tan válidas ahora como en el momento que se crearon las poderaciones?.  

¡Alarma!

Aquí ya debía saltar una alarma: El método de la encuesta telefónica se considera adecuado cuando prácticamente toda la población dispone de línea telefónica fija. En España se llegó a este punto cerca del año 2000, cuando se superaron las 17 millones de líneas fijas; en la actualidad, mientras la metodología para la obtención de muestras no ha sufrido cambios importantes si los hay en la evolución de las líneas telefónicas, que llegaron a su máximo en 2008 iniciando su declive  de septiembre de 2017, mientras que en el mismo periodo aumenta la cobertura móvil [14]

                                       2008                     2017           Variación          %


      Líneas fijas          20 576 070         19 171 012    - 1 405 058      - 6,8%
                   
      Líneas móviles    49 623 339         51 864 812      2 241 473         4,5%

      Población [15]     45 983 169        46 549 045         565 876         1,2%

Tabla 1. Pues eso, una tabla de variaciones entre líneas de teléfono 

(fijas y móviles) y sus variaciones.

  
En la Tabla 1 tenemos los números absolutos donde se observa claramente que hay variaciones importantes a tomar en cuenta en la encuesta telefónica. El número de líneas fijas baja un 6,8%, mientras las móviles suben un 4,5% y la población aumenta "solo" un 1,2%. Veamos como quedan las comparaciones:

                                                                2008                   2017           Variación        


A. Índice. Líneas fijas/móviles             41,46%               36,96%           - 4,5%    
                   
B. Tasa 1. Líneas fijas/población          44,75%               41,18%           - 3,6%

C. Tasa 2. Líneas móv./población        108,92%             111,42%             3,5%

         Diferencia  C-B                          63,17%                70,24%            7,1%

Tabla 2.Comparación porcentual entre las diferentes líneas, y la población.
Elaboración propia a partir de datos de la Tabla 1.

¿Y qué consecuencias tiene para la representatividad de la muestra?

De aquí podemos expresar las siguientes conjeturas que :

-  La cobertura de la telefonía fija ha sufrido cambios tan importantes que quizá hagan necesario su replanteamiento, tomando en cuenta la evolución de la sociedad, por ejemplo, la crisis económica y el relevo generacional. Por ejemplo:

• ¿Hay diferencia entre los titulares de líneas fijas en los años 2008 (comienzo de la crisis) y el 2017?. Una consecuencia de la crisis es que muchas familias ya no pueden pagar sus servicios básicos. En 2008 había 2,6 millones de familias en situación de exclusión social [16]. Según el indicador AROPE (At-Risk-Of Poverty and Exclusion) del 2008 cifraba en 23,8% de la población en riesgo, alcanzando el máximo en 2014 con 29,2% y un 27,9% para 2016 (es el dato más reciente a la fecha en que se redacta este post) [17].
• En los 8 años que abarcan estos datos, muchos menores de edad han llegado a la edad adulta. Por la misma crisis, muchos no forman nuevas familias o incluso continuan viviendo en casa de sus padres, por lo que es muy difícil que contraten nuevas líneas de teléfono fijo.
• En el mismo periodo, muchos titulares de línea han fallecido y seguramente en muchos casos, nadie ha reclamado la titularidad. Esto hace que la tasa de reposición de nuevas líneas fijas vaya en descenso o directamente sea negativa.
• En algunos casos, la línea fija viene dentro de un paquete con dos o más de los siguientes servicios: internet, móvil, fijo, TV. El fijo se contrata por costumbre, pues la gran mayoría de llamadas se hace por móvil [14].
• Las interacciones entre todas estas situaciones pueden profundizar las diferencias.
• Todo esto afecta a la composición de las familias con línea fija que responden las encuestas.

- Cambio en el uso de las tecnologías de comunicación. La edad de los usuarios y el avance en las TIC hace que el uso de la línea telefónica fija se reduzca: La franja de los mayores de 65 que eran titulares de línea disminuye, igual que las nuevas contrataciones por parte de personas que llegan a la mayoría de edad. Un cambio muy importante de cara a la ponderación de preferencias de los votantes.

- Subrepresentación de la población con menores ingresos. Debido al cambio en la distribución de las líneas fijas las personas con ingresos bajos o sin ingresos serán proclives a prescindir de la línea fija. Esto hará que su porcentaje en la muestra sea menor que en la población, por tanto no sería representativo.

- También es de tomar en cuenta que la situación personal puede influir enormemente en la decisión del voto (en este caso, la económica), así como otras situaciones coyunturales (en este caso, los sucesos del 1-O y la independencia de Cataluña).
 
En la página 22 de [10], el CIS indica que de la muestra N = 3000, 2 066 corresponden a entrevistas a través de línea fija y 934 a entrevistas a través de línea móvil. Sería interesante saber por qué se le continua dando más peso a la entrevista a través de la línea fija (o alternativamente, si se le considera más fiable que la entrevista a través del móvil).

Resultados

No dudo en ningún momento de la profesionalidad del CIS, pero si un profesor de matemáticas puede encontrar todas estas posibles causas de sesgo en la encuesta, tal vez sea necesario un replanteamiento en la metodología. Ojo, no estoy diciendo que todo lo haya hecho mal, aunque hayan variaciones muy grandes en los resultados. Después de los factores de corrección el CIS preveía el siguiente reparto de escaños (columna central):

Tabla 3. Previsión del CIS. Tomado de la página 22 de [10].

 Añadí el resultado final de las elecciones y la variación respecto a la previsión.

Como se puede ver, el No sabe corresponde a 15,7% de la población que después distribuye en los partidos, de manera bastante acertada a mi modo de ver (la segunda columna, Estimación del CIS).

Mi opinión sobre las diferencias observadas en los escaños que al final obtuvieron los partidos son las siguientes:

- Junts Per Catalunya (+8). Recibe voto útil por la entrevista del 19 de diciembre, dos días antes de las elecciones. Los pierde la CUP principalmente.

- Ciutadans (+4). Recibe voto útil, principalmente del PP. 

- Partit Socialista de Catalunya (-4). Uno de los grandes perjudicados por las previsiones. La polarización le ha perjudicado, además de tener un capital político cada vez menor en Cataluña.

- Catalunya en Comú - Podem (-1). Dentro de los límites de una previsión.

- Partit Popular (-3). La gestión de los sucesos del 1-O y posteriores lo han llevado a la irrelevancia política en Cataluña pues ni siquiera dispondrán de grupo político propio (se necesitan al menos 5 escaños). Es posible que la dirección nacional del partido lo haya sacrificado con vistas a tener réditos de los mismos sucesos en el resto de España, lo cual tampoco acaba de quedar claro, visto el ascenso de Ciudadanos. Sin embargo, la caída ha sido aún más grande de lo esperado (o al menos, eso parece, más abajo explico por qué). Solo para recordar, en 2012 obtuvieron el mejor resultado de su historia con 19 escaños con Alicia Sánchez Camacho al frente. En esta ocasión se mantuvo al margen de la campaña [18].

- CUP (-5). Aparentemente la más perjudicada, aunque el perfil de sus votantes se ha ampliado, es posible que en estas elecciones los votantes optaran por un discurso más moderado pero en la misma dirección, en este caso, Junts per Catalunya. Es muy probable que hayan ganado más capital político pues ahora son más conocidos por más gente, y al menos en Cataluña, mucha gente ya no los asocia a un radicalismo extremo.

Conclusión

A pesar de las dificultades actuales del método para obtener una muestra representativa de los votantes en una elección, no todo está perdido. En estas elecciones en particular, las líneas generales se pueden considerar bastante aceptables. Sin embargo, es necesario encontrar la manera de poder recomponer la metodología para que pueda alcanzar la confianza y el poder de predicción que tenía antes de la crisis.

Por ejemplo, al Partido Popular le habría venido muy bien tener una predicción más cercana al resultado real, pues además de las consecuencias políticas tiene un problema económico grave.

Los partidos políticos reciben una subvención segun el número de escaños, de votos y por propaganda electoral [19] que habitualmente gastan durante la campaña para recibirla después de las elecciones. El Partido Popular gastó aproximadamente 1,8 millones de euros en la campaña y solo podrá recuperar 163 900 € en subvenciones. Bueno, quizá lo pueda compensar con las aportaciones privadas, aunque es posible que también disminuyan vistos los resultados. Pero es bien cierto que una mejor previsión les hubiera ayudado bastante a no gastar tanto [20]. 

También la CUP ha gastado más, pero al parecer, Esquerra Republicana le ayudará a formar grupo propio con lo que la subvención aumenta, y por tanto, disminuye el descalabro económico.

Espero que el buen Mario Sánchez (@Seth_Tifon en Twitter) me dé el graduado en análisis político ;)

Puedes ver más sobre la serie de posts Cómo influye la Estadística en nuestras vidas:

- Como influye la Estadística en nuestras vidas I - Estadística pública y sus recursos didácticos
- Como influye la Estadística en nuestras vidas II - Estadística privada hacia el Big Brother               
- Como influye la Estadística en nuestras vidas III - Cuando nos toca de cerca
- Como influye la Estadística en nuestras vidas IV - Ejemplos con (pocos) números 1. El Método del Doble Ciego en Medicina.
- Como influye la Estadística en nuestras vidas V - Ejemplos con (pocos) números 2. Las predicciones electorales que no predicen. 

 Y próximamente en este serie:
- ¿Por qué los Seguros de vida (o de lo que sea) son negocio?
- El overbooking. ¿Mala? práctica que da dinero.
- Moneyball o  ¿Las Matemáticas están creando equipos sin alma?

Referencias

9. ¿Por qué se equivocan (o no) los sondeos?. Diario El Mundo.
10. Encuesta preelectoral de Cataluña. Elecciones 2017. CIS
11. Avance de la Encuesta Preelectoral de Cataluña. Elecciones 2017 (Noviembre). CIS.
12.  Algunas limitaciones de las encuestas telefónicas en los Estudios de Opinión Pública, Gustavo Martínes. Agenda Pública, Año II No. 2 (Mayo 2003), Instituto de Asuntos Públicos (INAP), Universidad de Chile.
13. Problemas de representatividad en las encuestas con modelos probabilísticos. Vidal Díaz de Rada. Papers, Revista de Sociología 74 (2004), p. 45-66. Universitat Autònoma de Barcelona.
14. España cuelga el teléfono fijo. David Page, Mario Viciosa. Economía, El Independiente, 23 de diciembre de 2017. Con información de la CNMC. Indispensable para quien quiera conocer con más detslle la metodología de la encuesta telefónica.
15. Datos macro de España. Tomados los datos de junio de 2008 y junio de 2017. Sus fuentes  incluyen al INE, la ONU y otros organismos oficiales.
16. Exclusion social en España: un espacio diverso y disperso en continua transformación. Pág. 62. Miguel Laparra, Begoña Pérez (coordinadores). Editorial Cáritas Española, 2009. ISBN 9788484404873. 
17. Informe AROPE 2017. Resumen Ejecutivo. Pág. 5
18. Los ausentes en la campaña del 21D. Diario El País, 19 de diciembre de 2017.
19. Los partidos se repartirán 8 millones de euros en las elecciones catalanas.   Diario ABC. 
20. El 21-D deja un agujero de 1,6 millones al PP (también pierden PSC, CeC y CUP). Diario El Nacional.