En la representación del siglo XIV de abajo vemos a la diosa Fortuna, ciega, manejando una rueda de azar cuyo resultado es desconocido para el ser humano. Es la diosa de los caprichos del destino. Enfrente está Sapientia, la diosa de la sabiduría, orgullosa, llena de luz, de claridad, ante un espejo que demuestra su capacidad de autoconocimiento y reflexión.
Asociamos sabiduría con certeza, ciencia, seguridad y tranquilidad. La incertidumbre, con la fortuna, lo oscuro, lo desconocido y el futuro incierto. Sin embargo, como decía Ciceron, “la fortuna, no la sabiduría, gobierna la vida”.
En la ambición de conocer qué deparaba el futuro, los gobernantes han mirado más a Fortuna que a Sapientia. Para ello consultaban a videntes los resultados de la rueda del azar. En la antigua Grecia, las pitonisas del oráculo de Delfos atendían a preguntas formuladas por quien pudiera pagar las correspondientes tasas. La influencia del místico ruso Rasputin alcanzó a casi toda la familia Románov. El actual presidente de Brasil tiene como asesor a Olavo de Carvalho, un filósofo new age y astrólogo.
Sin embargo, también desde tiempos remotos se ha entendido la importancia del conocimiento para tomar decisiones de Estado sobre el futuro, en la convicción de que sus consecuencias no son tan azarosas.
Por ello, no es de extrañar que la palabra estadística proceda etimológicamente de la palabra Estado, por la utilidad de la sistematización de datos en las grandes decisiones.
Faraones y cometas
Los faraones del antiguo Egipto daban gran importancia a la recopilación de datos. Guillermo el Conquistador ordenó en 1066 un censo considerado el primer compendio estadístico de Inglaterra.
Gaspar Neumann (1648 –1715) trabajó en las primeras tablas de mortalidad, que usó para combatir la creencia popular de que los años terminados en 7 eran fatídicos y con una mortalidad mayor.
Edmund Halley (1656-1742), que ya barruntaba la idea de que los cometas vistos en 1531, 1607 y 1682 eran el mismo objeto, utilizó los métodos de Neumann para predecir la reaparición del cometa a finales de 1758 o principios de 1759.
El cometa reapareció el 25 de diciembre de 1758 en medio de una gran expectación. Por desgracia, Halley había muerto años antes y no pudo contemplar ese momento. La humanidad estaba aprendiendo el manejo de la rueda de la diosa Fortuna.
En esa época se inició el estudio del cálculo de probabilidades, relegado al análisis de los juegos de azar y con poca repercusión en el resto de disciplinas.
Las ciencias experimentales seguirían en la búsqueda del conocimiento certero, determinista, que interpretaba la incertidumbre como un fallo, no como parte intrínseca del conocimiento.
“Si tu experimento necesita estadística, hubiera sido necesario hacer un experimento mejor”, decía el físico Ernest Rutherford (1871-1937).
“Dios no juega a los dados con el universo”, afirmaba Einstein (1879-1955) en su crítica a la mecánica cuántica.
No había sitio para la rueda del azar en el conocimiento científico.
Nace la estadística moderna
Todo cambiaría a lo largo del siglo XX a partir de los trabajos de matemáticos como Ronald Fisher (1890-1962), Karl Pearson (1857-1936), su hijo Egon (1895-1980) y Jerzy Neyman (1894-1981).
Se establecieron las bases de lo que conocemos como la inferencia estadística, que nos abrieron las puertas para obtener conclusiones generales sobre poblaciones a partir de una muestra de datos representativos.
Además, podemos reducir los márgenes de error de nuestras conclusiones a medida que aumentamos el tamaño de la muestra, contrastar la validez de nuestras hipótesis de partida y la capacidad de ajuste de nuestros modelos.
Si a esto unimos la modelización dinámica de las trayectorias inciertas, con la formalización del patrón de probabilidades de Norbert Wiener (1894-1964) y la axiomática de Andrei Kolmogorov (1903-1987), hemos desarrollado una batería inmensa de técnicas que nos permiten obtener intervalos de confianza a lo largo del tiempo, acotar los umbrales de incertidumbre y predecir los escenarios futuros más probables.
A finales del siglo XX, en todas las ramas de la ciencia se utilizaban modelos que incorporaban la incertidumbre y la probabilidad. Desde entonces la estadística se ha consolidado como un área científica común y casi imprescindible.
Buscando un límite estricto a la duda
Ya de lleno en el siglo XXI, la capacidad de trabajar con grandes bases de datos y de simular muchísimas réplicas de las dinámicas de las variables nos ha llevado a creer que podemos dar respuesta al personaje de Guía del autoestopista galáctico (Douglas Adams, 1979) que gritaba “¡Demandamos áreas estrictamente delimitadas de duda e incertidumbre!”. ¿Es así?
El editor de la revista Wired, Chris Anderson (1961), afirma en su libro El fin de la teoría que con datos y algoritmos de autoaprendizaje no necesitamos modelos ni teoría para predecir los comportamientos futuros.
“Olvídense de la taxonomía, de la ontología y de la psicología. ¿Quién sabe por qué la gente hace lo que hace? Lo importante es que lo hace y que lo podemos rastrear y medir con una fidelidad sin precedentes”.
Basta una buena base de datos y técnicas estadísticas adecuadas y podremos diseñar el modelo de negocio de una empresa, seleccionar personal con criterios objetivos y realizar inversiones financieras.
Si Halley pudo predecir la reaparición del cometa en el siglo XVIII, en el siglo XXI parece que podamos predecir casi cualquier evento sobre el que tengamos muchos datos disponibles.
El mundo real es complejo
Hemos hecho grandes avances en el conocimiento de la incertidumbre, expresión que no deja de ser paradójica. Debemos utilizar este conocimiento con mucha cautela. No olvidemos las dos condiciones esenciales para predecir en estadística: disponer de buena información y poder extrapolarla.
La predicción del paso del cometa Halley se basó en los datos pasados y en el hecho de que la trayectoria del cometa era previsible a partir de los mismos. Esta condición no se cumple siempre, y menos cuando se trata de predecir preferencias sociales, habilidades personales y eventos nunca antes observados.
Además, recordemos que las personas no funcionamos como un cometa. A veces podemos modificar nuestra trayectoria después de conocer las medidas que forman nuestra órbita. La realidad social es muy compleja. Como diría la gran dama de la estadística Gertrude Cox (1900-1978), los polinomios son notoriamente poco fiables cuando se extrapolan.
Hay tres ejemplos que ilustran esta complejidad.
Antes de la crisis financiera de 2007, las agencias de calificación tenían datos sobre los activos basados en hipotecas de alto riesgo. Los habían evaluado con la más alta calificación crediticia, AAA, y así se pusieron en circulación con gran éxito. ¿Cómo pudo ser? No había precedentes de peligro, ya que los datos no registraban ninguna morosidad. Cuando la morosidad comenzó, lo hizo en una gran cascada. Las consecuencias son por todos conocidas.
Nokia tenía que apostar por un nuevo modelo de negocio en 2011. Además de tensiones internas, Tricia Wang explica que parte de su debacle se debió a la miopía de Nokia al basarse únicamente en los datos de usuarios de los teléfonos móviles en circulación. Estos no predecían las preferencias de los teléfonos que estaban por llegar.
Amazon diseñó un algoritmo de selección de personal para desarrollar software usando patrones que podían observarse en los currículos presentados a la empresa durante una década. En 2015 lo dejaron de usar: no amaba a las mujeres. En la base de datos apenas había ejemplos femeninos de los que el algoritmo pudiera aprender a reclutar mujeres.
Estos ejemplos nos recuerdan que entender el contexto es esencial y que no debemos caer en la prepotencia de manejar grandes bases de datos y algoritmos sofisticados renunciando a combinar otro tipo de conocimientos sobre la evolución de la variable que queremos estudiar.
Decía Eduardo Chillida (1942-2002) que cuando era joven dibujaba muy bien, representaba perfectamente lo que veía, pero que eso no le aportaba nada. Se le ocurrió comenzar a dibujar con la mano izquierda para forzar que su mano fuera más despacio que su cabeza.
Uso esta anécdota para aconsejar a mis estudiantes que usen las técnicas y los programas informáticos a su disposición con su mano izquierda. Hacer estadística no es solo recopilar datos, diseñar algoritmos e intervalos de confianza. Yo me quedo con la descripción del brillante estadístico contemporáneo Winfried Stute, que define la estadística como “el arte de ponderar información”.
Sobre la autora: Eva Ferreira García es catedrática de estadística, especializada en modelos dinámicos bajo incertidumbre, en la Universidad del País Vasco / Euskal Herriko Unibertsitatea
Este artículo fue publicado originalmente en The Conversation. Artículo original.
Víctor
Precioso artículo, mil gracias.