La mala fama de las encuestas y sus predicciones (y por qué no deberíamos obsesionarnos con ellas)

Las encuestas están siendo cuestionadas por su bajo nivel predictivo, debido principalmente a fallas metodológicas. Cadem es la más criticada, si la comparamos con otras investigaciones. ¿Qué tan asertivas pueden llegar a ser a meses de la elección presidencial?


Contactar al autor

Compartir artículo en:
Share on twitter
Share on facebook
Share on linkedin
Share on whatsapp

“Siempre es bueno comenzar una nueva semana recordando… Mandamiento: NUNCA creerle a #CADEM… ni en lo bueno ni en lo malo, ni en lo odioso ni en lo favorable, amén… (por metodológicamente inconsistente y poco transparente)”.

Este tuit ya forma parte de un rito sagrado para Mauricio Daza. El abogado y constituyente asegura que el protagonismo que se le entrega a esta encuesta semanal es injustificado, no sólo por su débil metodología, sino que también por sus reiterados resultados con bajos niveles predictivos: “Claramente es impresentable”, afirma.

“Que todas las semanas esta cuestionable encuesta determine parte importante del debate político que se impulsa desde los grandes medios de comunicación no es un simple accidente, sino corresponde a una conducta sistemática la cual resulta injustificada, y avala la tesis de que estaríamos ante un instrumento el cual, en realidad, sería un medio de acción política para influir en la opinión pública más que una encuesta que buscar dar cuenta sobre lo que opina la comunidad”, explica.

Daza sostiene que su hipótesis cobra aún más fuerza si se considera que la empresa que hace dicha investigación “ha mantenido importantes contratos con el Estado, los cuales han sido pactados durante el gobierno de Sebastián Piñera, y que el dueño de Cadem, Roberto Izkinson, ha sido un reconocido colaborador del actual presidente”.

Y por esta razón es que todas las semanas repite una y otra vez su lema de no confiar en la encuesta y sus predicciones. Pero, ¿por qué?

“Si bien las fallas metodológicas y falta de transparencia de Cadem son especialmente significativas y graves en comparación con lo que ocurre con otras encuestas, resulta evidente que todos estos instrumentos han sido cuestionados por su falta de poder predictivo”, insiste el abogado y constituyente.

Repasemos entonces las últimas predicciones ad portas de las votaciones correspondientes al plebiscito de octubre de 2020 y las primarias presidenciales recién pasadas. A la pregunta, ¿quiere usted una Nueva Constitución? El resultado oficial fue de 78,28% ganando el “apruebo”.

Dentro de las encuestas no probabilísticas, es decir, aquellas que no consideraron la proporción de votantes probables en sus cómputos, la que estuvo más cerca de la cifra fue la del Centro de Estudios Interculturales e Indígenas (CIIR) con 75%; Data Influye le sigue con 72,80%; continúa Criteria con 72,80%; en cuarto lugar, se ubica Activa con 71,75%; El Centro de Estudios y Conflicto y Cohesión Social (COES) predijo que el resultado sería de 85,5%; en sexto lugar, se encuentra Cadem con 70%; y finalmente, Mori-Field y CEP se quedaron con 67% de respaldo a la propuesta de redactar una Nueva Constitución.

En lo que refiere a las primarias presidenciales del 18 de julio, Cadem intentó predecir el voto presidencial de los chilenos. En las mediciones reveladas antes de la votación, Jadue y Sichel habían estado consistentemente en la delantera. Sin embargo, después de la elección Cadem publicó los resultados de una medición que habría realizado entre el miércoles y el viernes de la semana de las primarias –y que no podían revelar por la prohibición legal de publicar encuestas dentro de los 15 días previos a una elección–.

A la pregunta: En la primaria de Chile Vamos, ¿por cuál de los siguientes candidatos votaría? Sebastián Sichel arrojó un 39% -obtuvo 49,08%- mientras que Joaquín Lavín alcanzó un 30%, entre quienes participarían de la primaria.

Con respecto a las primarias del Frente Amplio y el Partido Comunista, según Cadem, un 53% de los encuestados que participarían de la primaria votarían por Gabriel Boric –obtuvo finalmente 60,43%–, mientras que un 43% lo haría por Jadue –se quedó con el 39,57% de los votos–.

Entonces, ¿qué está pasando con estas predicciones? ¿Qué está fallando? ¿Por qué no podemos confiar en estas encuestas a meses de una elección presidencial?

Las fallas metodológicas que hunden a las encuestas

Para Mauricio Daza, las fallas metodológicas son evidentes y se han denunciado por varios expertos. Señala que existen problemas sobre el tamaño de muestra y su representatividad –la última encuesta de Cadem indica una muestra de 3.200 casos y Data Influye 1.411 entrevistas exitosas–, las técnicas que se usan para recoger información –entrevistas online o telefónicas–, la forma en que se redactan las preguntas, además de la extensión de los cuestionarios a realizar.

“Estamos frente a una encuesta telefónica, básicamente a celulares, con una muestra baja de entrevistas logradas, que no pasan de las mil, y que habitualmente representan un porcentaje bajo en relación a las llamadas realizadas. No queda claro el proceso a partir del cual se define a cuáles números llaman (…) Tampoco existe información sobre la distribución de la muestra por sexo, edad, grupos etarios, lugar de residencia, niveles socioeconómicos, entre otros elementos”, afirma.

En ambas encuestas anteriormente señaladas se menciona como universo a hombres y mujeres mayores de 18 años de todas las regionales de Chile, con acceso a internet o móvil. Nada más.

Según Miguel Ángel López, académico del Instituto de Asuntos Públicos (INAP) y del Instituto de Estudios Internacionales (IEI) de la Universidad de Chile, a partir del siglo XXI se hicieron populares las encuestas gracias a los avances tecnológicos que las facilitaron: mayor rapidez y resultados en menos tiempo, significando una caída en sus costos. Pero también significó conflictos al tratar de predecir las conductas futuras y, por ende, la pérdida de confianza de la ciudadanía.

Resultados de Cadem en la encuesta que revelaron después de las elecciones primarias.

Además, las complicaciones producto de la pandemia son evidentes. Las encuestas persona a persona no han sido posibles por lo que se potenciaron las telefónicas y online. Sin teléfonos fijos y mayor afluencia de celulares, se desconoce a quién se está llamando.

“Son parte de los conflictos que tienen las encuestas en general. Si una persona no responde o corta, eso se tiene que estar contemplado dentro de mi margen de error de la muestra, pero eso generalmente no se hace. Se asume que después de hacer 15 o 20 llamados fallidos, la persona que responde va a tener la misma opinión que tenían todas las personas que no respondieron. Ahí tenemos un error bastante grande”, expone.

Por ejemplo, Cadem ocupa el sistema Cati, un programa que va haciendo llamadas telefónicas aleatorias hasta que alguien responde. “Algunas encuestas tienen un sistema de control, y con eso logran mejorar un poco las características de la muestra. Yo sé que, si bien es muy criticada y mucha gente no confía en sus resultados, sí ha habido avances. Hay que reconocerle que tienen la valentía para hacer una encuesta semanal”, agrega López.

«Existe una evidente sobrerrepresentación en las muestras de ciertos sectores de nuestra sociedad y los mecanismos de corrección claramente no son efectivos. Lo anterior se puede vincular con un cambio demográfico y en la participación del electorado, entre otros factores.»

— Mauricio Daza, abogado y constituyente.

Sin embargo, Daza apunta a que en lo que refiere a la transparencia, la falta de antecedentes relevantes sobre la forma en que se construye la muestra y como se procesa la información,“no permite hacer un escrutinio mínimo acerca de la fiabilidad de la encuesta. A todo esto, se debe sumar los vínculos contractuales de Cadem con el Gobierno y la relación política de su dueño con Piñera y los sectores que lo apoyan”.

Le consultamos al académico de la UCH si a su juicio existe manipulación política. Responde que no, que considera que simplemente son problemas de metodología: “Sí hubo manipulación en encuestas en el plebiscito del 88, sí ha habido manipulación en otros países donde incluso se entregan mucho menos información de la encuesta que la que se entrega en Chile”.

¿Cómo mejorar las encuestas a corto plazo?

Y siguiendo la misma línea, Miguel Ángel López insiste que las encuestas siguen siendo la mejor herramienta para medir las opiniones de las personas sobre un tema específico en un espacio de tiempo determinado. Y mejorarlas, significa mayor inversión.

“Hay que buscar metodologías y adecuarse a todos los cambios como los celulares que reemplazaron los teléfonos fijos, y hay que esperar que pase la pandemia para ver una fórmula para que permita una encuesta presencial. Y aumentar el porcentaje de respuesta. Algunos países dan regalos, ese tipo de cosas ha aumentado dicho porcentaje”, asevera.

Lo que se ha visto en Chile últimamente ha sido algo parecido. Cadem ofrece a quienes respondan sus cuestionarios entrar en un sorteo por giftcards de entre $35 mil y $80 mil para supermercados y grandes tiendas. No se han visto otros incentivos.

Otro punto que debe ser mejorado es la entrega de información respecto a la metodología usada. “Antiguamente se exigía, y algunos medios lo pedían, un cuadro con información metodológica, pero además de los informes que entregan, debería haber un anexo metodológico más amplio”, señala López.

Y agrega: “La mejor manera y lo hacen muy poco, es una vez terminada la encuesta, entregar las bases de datos y los cuestionarios a la gente, de modo que cualquier persona con conocimiento de estadística pueda tomar las bases de datos, trabajar con ella y hacer su propia interpretación. Y luego ver cómo están hechas las preguntas. Entonces, es fundamental tanto el cuestionario como la base de datos”.

Para Mauricio Daza, la falta de poder predictivo es un fenómeno a nivel global y da cuenta que la metodología debe ser revisada.

“Existe una evidente sobrerrepresentación en las muestras de ciertos sectores de nuestra sociedad y los mecanismos de corrección claramente no son efectivos. Lo anterior se puede vincular con un cambio demográfico y en la participación del electorado, entre otros factores, los que no han sido debidamente incorporados al establecer las bases sobre la cuales se van a realizar”, señala.

“Sin embargo es un desafío importante que deben enfrentar quienes realizan estos instrumentos, lo cual es fundamental para que vuelvan a tener una credibilidad que han perdido de forma progresiva y justificada”, concluye Daza.

Ahora que has terminado de leer, queremos contarte que te necesitamos.

Contracarga es un proyecto que a pesar de tener pocos meses de vida, cuenta con decenas de miles de visitantes cada mes, chilenos que leen artículos explicativos, de análisis y de opinión sobre los conflictos más importantes de nuestros tiempos. Decenas de ellos han aportado para que sigamos haciendo periodismo independiente. Queremos seguir así, sin ataduras políticas ni comerciales, sin temor ni medias tintas, publicando las noticias que importan.

Creemos que nuestro mensaje debe expandirse a la mayor cantidad de personas, porque es importante que se entiendan los conflictos de nuestra era. También porque tenemos la convicción de que aportamos una perspectiva nueva, que busca la mayor objetividad posible, pero a diferencia del resto reconocemos que tenemos principios, como la lucha contra la desigualdad y por la justicia social, como nuestra convicción de que las mujeres deben decidir sobre sus cuerpos, y también nuestro compromiso en el combate contra el cambio climático.

Sin ti, todo lo que hemos construido corre riesgo. Te necesitamos. Hazte miembro por tan sólo 3 mil pesos al mes, ayúdanos a seguir adelante, y además podrás acceder a beneficios como un newsletter exclusivo con un resumen semanal de noticias, información anticipada sobre lo que publicaremos, charlas con el equipo, sorteos de libros y más. Gracias.