La aventura de la estadística

Antes de ser una rama de las matemáticas, la estadística fue una tarea de funcionarios. La palabra lo delata: viene del alemán Statistik, que Gottfried Achenwall popularizó a mediados del siglo XVIII para nombrar la descripción de un Estado, sus tierras, sus gentes, sus rentas y sus ejércitos. Era, literalmente, la ciencia del Estado. Y la pregunta que la hizo nacer es tan vieja como el poder mismo: cuántos somos, cuánto tenemos y cuántos podemos ir a la guerra.

Roma tenía una respuesta institucional. Cada cinco años, dos magistrados llamados censores convocaban a los ciudadanos en el Campo de Marte, y cada cabeza de familia declaraba bajo juramento su nombre, su edad, su mujer, sus hijos, sus esclavos y sus bienes. Con esa lista se repartían los ciudadanos en clases según su riqueza, se fijaban los impuestos y se sabía cuántos hombres podían alistarse en las legiones. La ceremonia terminaba con un sacrificio de purificación, el lustrum, y de ahí viene que en castellano un lustro dure cinco años. Augusto presumió en sus Res Gestae de haber hecho tres censos y de haber contado en el último, el del año 14, 4.937.000 ciudadanos. El más famoso de todos los censos romanos es, sin embargo, uno de dudosa historicidad: el que, según el Evangelio de Lucas, obligó a José y María a viajar a Belén.

El censo es una idea que reaparece cada vez que un poder quiere asentarse. Guillermo el Conquistador, veinte años después de invadir Inglaterra, mandó en 1086 a sus comisionados a inventariar cada aldea, cada molino y cada cerdo del reino, y el resultado, el Domesday Book, recibió ese nombre de libro del Juicio Final porque contra lo que en él se anotaba no cabía apelación. En la España del siglo XVIII, el marqués de la Ensenada hizo levantar hacia 1750 un catastro minucioso de la Corona de Castilla para implantar una contribución única, y en 1787 el conde de Floridablanca encargó el que se considera el primer censo moderno de población del país, con algo más de diez millones de habitantes, contados por edad, sexo, estado civil y oficio. En todos los casos el objetivo era el mismo: el que cuenta, gobierna. Hoy el censo estadístico sigue siendo la operación de recuento más cara y más pesada que hace un Estado.

Pero contar no es todavía hacer estadística. El salto ocurrió en Londres, en 1662, y lo dio un hombre que no era ni matemático ni funcionario. John Graunt era mercero, vendía botones, agujas y cintas en el barrio de Cornhill, y tenía la costumbre de leer con atención unos papeles que todo el mundo compraba y casi nadie miraba despacio: los Bills of Mortality, los boletines de mortalidad. Desde finales del siglo XVI, los sacristanes de las parroquias de Londres publicaban cada semana cuántos bautismos y cuántos entierros había habido, y desde 1629 añadían de qué había muerto la gente. Servían sobre todo como alarma: cuando los muertos por peste empezaban a subir, los ricos hacían las maletas y se marchaban al campo.

La causa de la muerte no la dictaminaba un médico. La anotaban las searchers, mujeres casi siempre ancianas y pobres que la parroquia pagaba para entrar en la casa del difunto, mirar el cuerpo y preguntar a la familia. Graunt sabía que el dato era tosco, y lo dijo, pero hizo algo que nadie había hecho: en lugar de leer los boletines semana a semana, reunió los de muchos años, los puso en tablas y buscó qué se repetía.

Lo que encontró fue asombroso para su época. La primera regularidad es que nacían más niños que niñas, unos catorce por cada trece, año tras año y parroquia tras parroquia, con una constancia que ningún capricho individual explicaba. La segunda, que algunas muertes que parecían puro azar, como los ahogados, los suicidios o los accidentes, se repetían en cantidades muy parecidas cada año. La tercera, que en Londres morían más personas de las que nacían, de modo que la ciudad solo crecía porque llegaba gente del campo. Desmontó además una creencia muy extendida, la de que las grandes pestes coincidían con la subida al trono de un rey nuevo, y estimó la población de Londres en unos 384.000 habitantes, cuando se hablaba alegremente de millones.

Su hallazgo más duradero fue una tabla. Graunt quería saber cuántos de cada cien nacidos seguían vivos a cada edad, y como los boletines no daban la edad del muerto, la reconstruyó con ingenio: sabía cuántos niños morían de enfermedades propias de la infancia, y repartió el resto con una regla aproximada. El resultado decía que de cada cien niños, 36 morían antes de cumplir seis años, a los dieciséis quedaban 40, a los treinta y seis, 16, y a los setenta y seis, solo uno. Los números eran rudimentarios, pero la idea era nueva: una tabla de mortalidad, que convierte miles de muertes individuales, cada una con su historia, en una regularidad colectiva sobre la que se puede razonar.

El libro, Observaciones naturales y políticas hechas sobre los boletines de mortalidad, tuvo cinco ediciones en quince años. El rey Carlos II quedó tan impresionado que recomendó a la recién fundada Royal Society que admitiera a su autor, y añadió, según se cuenta, que si encontraban más comerciantes como aquel, los admitieran también sin más trámite. Su amigo William Petty llevó la idea más lejos con lo que llamó aritmética política, el uso de números para discutir impuestos, comercio y población, y treinta años después el astrónomo Edmond Halley construyó con los registros de la ciudad de Breslavia la primera tabla de mortalidad hecha con edades reales, que sirvió para calcular cuánto debía costar una renta vitalicia. Con ella nació el cálculo actuarial, y con él los seguros de vida y las pensiones.

Lo importante de Graunt no es ninguna de sus cifras, que hoy sabemos inexactas, sino el gesto. Descubrió que el comportamiento de una persona es imprevisible, pero el de miles de personas tiene regularidades estables, y que esas regularidades solo se ven cuando se agregan los datos. Es la misma intuición que, medio siglo después, Jakob Bernoulli convertiría en la ley de los grandes números y que Adolphe Quetelet llevaría hasta la idea, muy discutible, de un hombre medio. A partir de ahí, contar dejó de ser solo una forma de cobrar impuestos y se convirtió en una forma de entender.

Los boletines de mortalidad tenían todavía una lección que dar. Dos siglos después, otro londinense, el médico John Snow, iba a usar los registros de defunciones de una epidemia de cólera, calle por calle, para encontrar su causa, en la que es quizá la historia más célebre de la estadística salvando vidas: los números del cólera.

A finales de agosto de 1854, en el barrio londinense del Soho, la gente empezó a morir a una velocidad que nadie recordaba. Una persona se levantaba sana, por la tarde tenía diarrea y vómitos incontenibles, y al día siguiente estaba muerta, deshidratada, con la piel azulada. Era el cólera. En los tres primeros días murieron 127 vecinos de la calle Broad Street y sus alrededores, y en diez días, más de quinientos. Quien pudo se marchó. Las calles quedaron vacías, con las ventanas cerradas y los carros de los muertos como único tráfico.

La explicación oficial de la época era el miasma: la enfermedad se transmitía por el aire viciado, por el olor de la basura y de las aguas podridas que entonces inundaban Londres. Tenía sentido para quien la sostenía, porque el cólera golpeaba sobre todo los barrios pobres y malolientes. John Snow, un médico de cuarenta y un años conocido sobre todo por anestesiar con cloroformo a la reina Victoria en uno de sus partos, no se lo creía. Había observado que el cólera atacaba primero el intestino, no los pulmones, y sospechaba que entraba por la boca, con el agua. Lo había publicado cinco años antes, y casi nadie le había hecho caso. La epidemia del Soho iba a ser su oportunidad de demostrarlo, y lo haría con una herramienta muy sencilla: contar bien y poner lo contado en un mapa.

Snow consiguió del registro general la lista de los fallecidos con su dirección y se pateó el barrio casa por casa, preguntando a los vecinos de dónde sacaban el agua. Luego hizo algo que hoy parece obvio y entonces no lo era: dibujó cada muerte como una pequeña raya negra sobre un plano de las calles, apilando las rayas delante de cada portal. El resultado es una de las imágenes más famosas de la historia de la medicina.

El mapa no necesita explicación. Las rayas se amontonan alrededor de un punto, la bomba de agua pública de Broad Street, y se van aclarando a medida que uno se aleja de ella. Pero lo que convirtió el mapa en una prueba no fue la mancha negra del centro, que podía explicarse también por el miasma de aquellas calles concretas. Fueron las excepciones, y Snow las persiguió con paciencia de detective.

La primera excepción era una ausencia. Muy cerca de la bomba había un asilo de pobres, el workhouse de Poland Street, con más de quinientos internos, y allí apenas murió nadie: el edificio tenía su propio pozo. También estaba al lado la cervecería Lion, con unos setenta trabajadores, y ninguno murió. El dueño le explicó a Snow que sus hombres tenían derecho a una ración de cerveza y no bebían agua de la bomba. Si la causa hubiera sido el aire del barrio, esos edificios, que respiraban el mismo aire, deberían haber sufrido igual.

La segunda excepción era al revés: muertes lejos de la bomba. Snow investigó varias, y casi todas llevaban de vuelta a Broad Street. Había niños que vivían más cerca de otra bomba pero iban al colegio junto a la de Broad Street. Y estaba el caso más elocuente de todos: una viuda que vivía en Hampstead, a varios kilómetros, y que había muerto de cólera sin pisar el Soho. Snow descubrió que la mujer había vivido antes en Broad Street, le gustaba el sabor de aquella agua y hacía que su hijo le llevara una botella cada día. Una sobrina que la visitó y bebió de la botella murió también, en otro barrio sano de la ciudad.

Con todo eso, el 7 de septiembre Snow se presentó ante los responsables de la parroquia de St. James y les pidió que inutilizaran la bomba. Lo hicieron al día siguiente: le quitaron la palanca. La epidemia ya iba de bajada, porque mucha gente había huido o muerto, y el propio Snow reconoció que era imposible saber cuánto había ayudado ese gesto. Pero la imagen de la palanca retirada se convirtió en el símbolo de la salud pública: un problema colectivo resuelto con datos y con una decisión sencilla.

El Soho fue la escena dramática, pero la prueba estadística más sólida de Snow estaba en otro sitio. En el sur de Londres, dos compañías privadas suministraban agua a las mismas calles, a veces a casas vecinas. Una, la Southwark and Vauxhall, la sacaba del Támesis río abajo, donde desembocaban las cloacas de la ciudad. La otra, la Lambeth, había trasladado su toma río arriba en 1852, a un tramo limpio. Las familias no habían elegido compañía por ningún motivo relacionado con la salud, y vivían mezcladas, ricas y pobres, en las mismas calles y respirando el mismo aire. Era, como lo llamó Snow, un gran experimento natural. Contó las muertes por cólera de 1854 casa por casa, preguntando a cada familia quién le servía el agua, y el resultado fue contundente: en las casas de la Southwark and Vauxhall murieron 315 personas por cada diez mil casas, y en las de la Lambeth, 37. Ocho veces menos, con todo lo demás igual.

Aquí está el corazón de la historia, y es más importante que el mapa. Snow no se conformó con ver que dos cosas coincidían, que es lo que hace una correlación. Buscó una situación en la que lo único que cambiaba era la variable sospechosa, el agua, y todo lo demás quedaba repartido al azar. Es la misma lógica que un siglo después darían los ensayos clínicos aleatorizados, y es la razón por la que hoy se considera a Snow uno de los padres de la epidemiología.

La comunidad médica tardó en darle la razón. Una comisión oficial revisó la epidemia del Soho y concluyó que el agua no lo explicaba todo. El clérigo Henry Whitehead, que conocía a todos los vecinos de la parroquia, se propuso refutar a Snow y acabó convenciéndose: encontró el caso inicial, un bebé que había enfermado a finales de agosto y cuyos pañales se lavaron en un pozo negro que filtraba a menos de un metro del pozo de la bomba. Snow murió en 1858, sin ver aceptada su teoría. Ese mismo año, el Gran Hedor, un verano en que el Támesis olía tanto que el Parlamento no podía sesionar, empujó a construir la red de alcantarillado de Joseph Bazalgette. La hicieron para acabar con el olor, convencidos todavía del miasma, y el cólera fue desapareciendo de los barrios a los que llegaba, por la razón que Snow había dicho.

La moraleja tiene dos caras. La primera es que la estadística más elemental, contar casos y colocarlos donde ocurren, puede salvar vidas si se hace con cuidado, y que una imagen bien elegida convence donde una tabla no llega. La segunda es más sutil: el mapa por sí solo no probaba nada. Lo que lo hizo concluyente fue preguntar por las excepciones y buscar una comparación limpia. Mirar los datos es el primer paso, y el que más se salta, como defendería un siglo después John Tukey con su idea de mirar antes de calcular, pero hay que mirarlos con preguntas.

Imagina que alguien te pasa cuatro tablas de datos, cada una con once parejas de números, y te da su resumen estadístico. En las cuatro, la media de la primera columna es 9 y la de la segunda, 7,5. La dispersión de cada columna, medida con la varianza, es la misma en las cuatro. La correlación entre las dos columnas vale 0,816 en todas, que es una relación bastante fuerte. Y si trazas la recta que mejor se ajusta a los puntos, sale en los cuatro casos la misma: más o menos, la segunda columna es igual a tres más la mitad de la primera. Con ese resumen en la mano, cualquiera concluiría que las cuatro tablas cuentan la misma historia.

Pues no. Si las dibujas, cada una cuenta una historia completamente distinta. La primera es lo que uno espera: una nube de puntos que sube con algo de ruido, el caso de manual para el que se inventó la recta. La segunda es una curva perfecta, un arco que sube y luego baja, y la recta que la resume no pasa ni de lejos por donde están los puntos. La tercera es una línea casi exacta, todos los puntos alineados como soldados, salvo uno que se ha ido por las nubes y tira de la recta hacia arriba. Y la cuarta es la más tramposa: diez puntos amontonados en la misma vertical, todos con el mismo valor en la primera columna, y un solo punto muy lejos a la derecha que se basta él solo para fabricar toda la correlación.

Estas cuatro tablas son el cuarteto de Anscombe, y las publicó en 1973 el estadístico británico Francis Anscombe en un artículo de cuatro páginas titulado, sin más, «Los gráficos en el análisis estadístico». Anscombe las construyó a mano, a propósito, para defender una idea que entonces no era evidente para todo el mundo: que antes de calcular nada hay que mirar los datos. Su artículo empezaba con una lista de lo que él llamaba nociones extendidas entre los estadísticos, como que los cálculos numéricos son exactos y los gráficos son toscos, o que a cada conjunto de datos le corresponde un único cálculo correcto. Las cuatro figuras eran la refutación.

Hay que situarse en la época para entender por qué hacía falta decirlo. A principios de los setenta, los ordenadores ya calculaban medias, correlaciones y regresiones en un instante, pero dibujar un gráfico era caro y lento. La tentación era evidente: meter los datos en la máquina, recoger los números que salían por la impresora y no mirar nada más. Anscombe, que trabajaba precisamente en el uso de ordenadores para la estadística, pedía lo contrario: que la máquina hiciera los cálculos y también los dibujos, porque los dibujos enseñan lo que los números esconden.

Lo que esconden los números del cuarteto es justo lo que importa en cada caso. En la segunda tabla, la relación no es una recta sino una curva, y usar una recta es un error de forma. En la tercera, hay un dato raro, que puede ser una errata, un caso excepcional o el hallazgo más interesante de todo el estudio, y en cualquiera de las tres posibilidades hay que saber que existe. En la cuarta, la conclusión entera depende de un único punto: si ese punto desapareciera, no habría ninguna relación. Ninguna de esas tres cosas se ve en la media, la varianza o la correlación, porque esos números están hechos precisamente para resumir, y resumir es tirar información.

Esa es la idea de fondo que conviene llevarse. Un estadístico como la media o la correlación es una compresión: coge muchos datos y los reduce a uno. La compresión es útil cuando sabemos que lo que se pierde no importa, y peligrosa cuando no lo sabemos. Un gráfico, en cambio, enseña casi todo a la vez, también lo inesperado. Por eso el orden correcto es mirar primero y resumir después, y no al revés.

En 2017, dos investigadores de la empresa Autodesk, Justin Matejka y George Fitzmaurice, llevaron la broma de Anscombe hasta el extremo. Partieron de un conjunto de puntos con forma de dinosaurio, que el divulgador Alberto Cairo había dibujado para sus clases, y escribieron un programa que movía los puntos poco a poco sin cambiar su media, su desviación típica ni su correlación más allá del segundo decimal. El programa fue transformando el dinosaurio en una estrella, en un círculo, en una equis, en líneas paralelas, en una diana. Doce dibujos radicalmente distintos, la llamada docena del Datasaurio, con exactamente las mismas estadísticas. Si alguien todavía creía que cuatro ejemplos eran pocos, ahí tenía una fábrica de contraejemplos.

¿Quiere decir esto que los números no sirven y que solo hay que fiarse de los gráficos? Tampoco. El título de este artículo lleva un paréntesis a propósito: una imagen vale más que mil números, si no te engaña. Los gráficos también pueden mentir, y mucho, con ejes que no empiezan en cero, áreas que exageran o escalas elegidas a conveniencia, como se cuenta en cómo mentir con gráficos. Y el ojo humano tiene sus trampas: ve patrones donde solo hay ruido y tiende a sobrevalorar lo que llama la atención. La lección de Anscombe no es que el dibujo gane al cálculo, sino que se necesitan los dos, y que el dibujo va primero.

En la práctica, este consejo es de lo más útil que puede aprender cualquiera que trabaje con datos, sea en una empresa, un laboratorio o una redacción. Antes de calcular la media de unos sueldos, dibuja su histograma, y verás si hay unos pocos muy altos que la van a arrastrar. Antes de decir que dos cosas están relacionadas, dibuja la nube de puntos, y verás si la relación es una recta, una curva o el capricho de un solo dato. Antes de comparar grupos, dibuja sus diagramas de caja, y verás si se parecen de verdad o solo en el centro.

Los pioneros de la estadística gráfica ya lo sabían, y lo veremos en los capítulos siguientes de este itinerario. Florence Nightingale convenció al gobierno británico con un diagrama, no con una tabla. Charles Minard resumió en una sola lámina el desastre de un ejército entero. Y John Tukey, que era cuñado de Anscombe, convirtió el «mira antes de calcular» en una disciplina con nombre propio, el análisis exploratorio de datos, del que habla abre la caja.

La imagen popular de Florence Nightingale es la de una mujer con una lámpara que recorre de noche los pasillos de un hospital militar, consolando a los heridos. La imagen es cierta, la prensa británica la llamó así, the Lady with the Lamp, pero deja fuera lo más importante. Nightingale fue también una de las primeras personas que usó la estadística para cambiar una política pública, y lo hizo con un gráfico que todavía hoy se enseña. En 1858 se convirtió en la primera mujer admitida en la Real Sociedad de Estadística de Londres.

Nació en 1820 en una familia rica e ilustrada, y su padre le enseñó matemáticas, algo muy poco habitual para una muchacha de su tiempo. Tuvo que pelear con su familia para hacerse enfermera, un oficio que entonces se consideraba poco respetable. En 1854, con la Guerra de Crimea en marcha, el gobierno la envió al frente con 38 enfermeras para hacerse cargo del hospital militar de Scutari, en un antiguo cuartel turco a las afueras de Constantinopla.

Lo que encontró fue espantoso. El edificio estaba construido sobre cloacas rotas, había ratas y piojos, faltaban mantas, jabón y comida, y los soldados enfermos se amontonaban en los pasillos. Pero lo que más llamó la atención de Nightingale, que anotaba todo con minuciosidad, fue de qué morían. La mayoría de los muertos no caían por las balas ni por las heridas, sino por lo que entonces se llamaban enfermedades zimóticas, las infecciosas: cólera, tifus, disentería. En el peor mes, el invierno de 1855, la mortalidad del ejército de Oriente era tan alta que, mantenida durante un año entero, habría acabado con todos los soldados y aún habría faltado gente. Morían más hombres en los hospitales que en el campo de batalla.

En marzo de 1855 llegó a Scutari una comisión sanitaria enviada desde Londres, que limpió las cloacas, ventiló las salas y mejoró el agua. La mortalidad se desplomó en pocos meses. Para Nightingale, la conclusión era evidente: la mayor parte de aquellas muertes se podía haber evitado con higiene, y el ejército debía reformar sus hospitales para que no volviera a ocurrir. Cuando volvió a Inglaterra, convertida en heroína nacional, se propuso convencer al gobierno, a la reina y a la opinión pública. Sabía que las tablas de números no las leía casi nadie, y buscó una forma de que los datos entraran por los ojos.

Con ayuda del estadístico William Farr, el gran experto en estadísticas de salud del Reino Unido, preparó una serie de diagramas. El más famoso es este.

Se llama diagrama de área polar, y a veces rosa de Nightingale. Funciona como un reloj: cada una de las doce cuñas es un mes, y lo grande que es cada cuña dice cuántos soldados murieron ese mes. Dentro de cada cuña, los colores separan las causas. La rosa de la derecha es el primer año de guerra, de abril de 1854 a marzo de 1855, y la de la izquierda, el segundo. Basta un vistazo para entender el mensaje: la inmensa mayoría de la superficie es azul, es decir, muertes por enfermedades evitables, mientras que las rosadas, las de las heridas de guerra, son una franja pequeña en el centro. Y la rosa del segundo año, la de después de la limpieza, es mucho más pequeña.

Hay un detalle técnico que Nightingale cuidó y que muchos gráficos modernos olvidan. En sus cuñas, lo que es proporcional al número de muertos es el área, no el radio. Si un mes murieron el doble de soldados que otro, su cuña no es el doble de larga, sino que tiene el doble de superficie, lo que significa que su radio es solo un 41 por ciento mayor. Es la forma honesta de hacerlo, porque el ojo compara superficies. Si hubiera dibujado los radios proporcionales a los muertos, los meses malos habrían parecido cuatro veces peores en lugar del doble, que es justo uno de los trucos de los que habla cómo mentir con gráficos.

Eso no quiere decir que el diagrama sea perfecto. Los especialistas en visualización señalan que los ángulos y las áreas son difíciles de comparar con precisión, y que unas barras puestas una al lado de la otra habrían permitido leer las cifras exactas con más facilidad. Algunos historiadores han apuntado además que Nightingale eligió bien qué meses comparar para que el contraste entre el antes y el después fuera rotundo. Pero el objetivo de Nightingale no era que el lector leyera cifras exactas, sino que entendiera una idea en tres segundos y no la olvidara. Ese objetivo lo cumplió de sobra. Ella misma decía que sus diagramas estaban pensados para afectar a través de los ojos lo que no se lograba transmitir al público a través de sus oídos, poco dispuestos a escuchar.

Los resultados fueron enormes. Sus informes llevaron a crear una comisión real sobre la salud del ejército, a reformar los hospitales militares y a fundar una escuela de medicina militar. Más tarde aplicó los mismos métodos a la salud pública de la India y a los hospitales civiles británicos, insistiendo siempre en lo mismo: hay que recoger datos con un formato común, compararlos y usarlos para decidir. Llegó a proponer formularios estándar para que todos los hospitales registraran las enfermedades y las muertes de la misma manera, porque se dio cuenta de que cada uno contaba a su modo y era imposible compararlos.

Hay una ironía en la historia. Nightingale no creía en los gérmenes: durante buena parte de su vida pensó, como la mayoría de sus contemporáneos, que las enfermedades se transmitían por el aire viciado. Acertó en las soluciones, limpiar, ventilar y llevar agua limpia, por razones parcialmente equivocadas, igual que los ingenieros que construyeron las cloacas de Londres después de la epidemia de cólera que estudió John Snow. Los datos le dijeron qué funcionaba antes de que la ciencia supiera explicar por qué.

Su legado es doble. Para la enfermería, fue quien la convirtió en una profesión con formación y reglas. Para la estadística, fue una de las primeras en entender que un número solo sirve si llega a quien tiene que tomar la decisión, y que para eso hay que contarlo bien. Pocos años después, al otro lado del canal de la Mancha, un ingeniero francés retirado iba a demostrar lo mismo con otro desastre militar, la campaña de Napoleón en Rusia, en lo que muchos consideran el mejor gráfico estadístico jamás dibujado: el mapa de Minard.

En junio de 1812, Napoleón cruzó el río Niemen, en la frontera de Rusia, al frente del ejército más grande que Europa había visto. Seis meses después, lo que quedaba de él volvió a cruzar el mismo río en dirección contraria: unos pocos miles de hombres hambrientos, congelados y sin caballos. Es una de las catástrofes militares más famosas de la historia, y se ha contado en miles de libros. Pero hay una forma de contarla que cabe en una sola hoja y que se entiende sin leer una línea. La dibujó en 1869 un ingeniero francés de 88 años llamado Charles Joseph Minard.

Minard había pasado toda su vida profesional en el cuerpo de Puentes y Caminos, construyendo canales, puertos y ferrocarriles, y al jubilarse se dedicó a algo que entonces apenas tenía nombre: dibujar datos. Sus especialidades eran los mapas de flujos, en los que el ancho de una línea dice cuánta cosa pasa por un sitio, fuera algodón, vino, carbón o viajeros. Su lámina sobre la campaña de Rusia aplica esa misma idea a algo mucho más terrible: lo que fluye por el mapa son hombres, y lo que se ve es cómo se van acabando.

Para leerla, basta con seguir la franja beige de izquierda a derecha. Empieza en el Niemen, a la izquierda, gruesísima: 422.000 hombres según las cifras que usó Minard. A medida que avanza hacia el este por las llanuras de Lituania y Bielorrusia, se va adelgazando, aunque casi no hay batallas. Los soldados mueren de tifus, de disentería, de agotamiento y de hambre, o desertan, porque los rusos se retiran quemando las cosechas y el ejército no encuentra qué comer. Una rama se separa hacia el norte, hacia Pólotsk, para cubrir el flanco. Cuando la franja llega a Moscú, en el extremo derecho, es ya una fracción de lo que era: unos 100.000 hombres. Napoleón encuentra la ciudad vacía y luego incendiada, espera un mes una rendición que no llega y, en octubre, ordena la retirada.

La franja negra es la vuelta, y es todavía peor. Avanza de derecha a izquierda, siguiendo casi el mismo camino, y se va estrechando a saltos. Aquí entra el gráfico de abajo, que es la genialidad de la lámina: Minard dibujó la temperatura que hizo cada día de la retirada, unida con líneas verticales al punto del mapa donde estaba el ejército. Se ve así que cada caída brusca del termómetro coincide con un estrechamiento de la franja negra. El 6 de diciembre el termómetro marcó 30 grados Réaumur bajo cero, unos 37 grados centígrados bajo cero. El paso del río Berézina, a finales de noviembre, en el que el ejército cruzó por dos puentes improvisados mientras lo atacaban los rusos, se ve como una mordedura en la franja: entran unos 50.000 hombres y salen unos 28.000. Al llegar de nuevo al Niemen, la franja es un hilo: 10.000 hombres.

Lo extraordinario de la lámina es cuántas cosas cuenta a la vez sin que el lector se pierda. El estadístico y politólogo Edward Tufte, que la popularizó en los años ochenta con su libro La representación visual de la información cuantitativa, contó seis variables en un solo plano: el número de soldados, que es el ancho de la franja; la posición del ejército en dos dimensiones, la latitud y la longitud; la dirección de la marcha, ida o vuelta, que es el color; la temperatura, y las fechas. Tufte escribió que bien podría ser el mejor gráfico estadístico jamás dibujado, y la frase se ha repetido tanto que forma parte de la leyenda. Ya en 1878, el fisiólogo Étienne-Jules Marey, uno de los pioneros del registro gráfico de los fenómenos, había dicho que la lámina desafiaba la pluma del historiador por su brutal elocuencia.

¿Por qué funciona tan bien? Primero, porque los datos están donde ocurrieron: no hay que mirar el gráfico y luego buscar en otro sitio qué ciudad es cuál. Segundo, porque la comparación más importante, cuántos fueron y cuántos volvieron, se hace con el ojo, sin leer ningún número: la franja beige del principio frente al hilo negro del final. Tercero, porque no tiene nada que sobre, ni adornos, ni dibujos de soldados, ni tres dimensiones, ni colores puestos para llamar la atención. Cada trazo de tinta está ahí para decir algo. Y cuarto, porque cuenta una historia en el tiempo, con un principio, un clímax y un final, que es la forma en que nuestra cabeza entiende mejor las cosas.

Hay matices que conviene saber. Las cifras de Minard venían de las memorias de algunos participantes y de historiadores de su tiempo, y los historiadores actuales discuten algunas: el número de soldados que entraron en Rusia varía según qué cuerpos se cuenten, y no todo el ejército siguió la línea principal. Minard simplificó la geografía, dejando solo los ríos y las ciudades que importaban. Y la temperatura solo está dibujada para la retirada, no para la ida, que fue en verano y también mortífera, por el calor y las enfermedades. Un gráfico siempre es una selección, y este no es una excepción.

También hay un mensaje, aunque no se diga. Minard dibujó esta lámina al final de su vida, poco antes de la guerra franco-prusiana de 1870, y la publicó junto a otra que hacía lo mismo con la marcha de Aníbal a través de los Alpes, en la que el ejército cartaginés también se iba consumiendo en el camino. Las dos juntas son un alegato silencioso sobre el coste humano de la guerra. No hay en ellas ni un juicio ni un adjetivo; los números y su forma bastan.

La lección para quien quiera comunicar con datos es la misma que dio Florence Nightingale unos años antes: un buen gráfico no es el que tiene más colores, sino el que deja ver la idea principal de un vistazo y permite al curioso encontrar los detalles si los busca. El problema es que esa misma capacidad de convencer por los ojos se puede usar para engañar, y de eso trata el siguiente capítulo: cómo mentir con gráficos.

En 1954, un periodista estadounidense llamado Darrell Huff publicó un librito con un título provocador, Cómo mentir con estadísticas. No era un manual para mentirosos, sino para sus víctimas: enseñaba los trucos para que el lector los reconociera. Se convirtió en uno de los libros de estadística más vendidos de la historia, con más de un millón de ejemplares, y buena parte de sus capítulos trataba de gráficos. Setenta años después, los trucos siguen siendo los mismos, solo que ahora circulan por las redes a millones de pantallas. Conviene conocerlos.

Hay que empezar por una idea. Un gráfico funciona porque el ojo compara tamaños sin pensar: si una barra es el doble de alta que otra, entendemos que su valor es el doble. Esa rapidez es su fuerza, porque nos ahorra leer números, y también su debilidad, porque casi nadie se para a comprobar si lo que ve el ojo coincide con lo que dicen los números. Todos los trucos que siguen explotan esa diferencia entre lo que se ve y lo que es.

El más común es el eje truncado. Imagina un gráfico de barras que compara el tipo máximo de un impuesto antes y después de una reforma: del 35 al 39,6 por ciento. Si el eje vertical empieza en cero, las dos barras son casi iguales, porque la subida es de menos de cinco puntos. Pero si el eje empieza en 34, la primera barra es un muñón y la segunda es casi seis veces más alta. El ojo ve un aumento descomunal, aunque los números escritos encima digan la verdad. Este gráfico concreto lo emitió una cadena de televisión estadounidense en 2012, y se ha convertido en el ejemplo de manual. La regla práctica es sencilla: en un gráfico de barras, el eje debe empezar en cero, porque lo que se compara es la longitud de las barras. En un gráfico de líneas, en cambio, puede no empezar en cero si lo que interesa es ver la variación, siempre que quede claro.

El segundo truco es el de los dibujos que crecen. Huff lo ilustraba con dos sacos de dinero que comparaban el sueldo de dos profesiones: si uno ganaba el doble que el otro, el dibujante hacía el saco el doble de alto. Pero un saco el doble de alto es también el doble de ancho, y por tanto ocupa cuatro veces más superficie, y si el dibujo parece tener volumen, aparenta ocho veces más. El ojo compara superficies y volúmenes, no alturas, así que la diferencia parece mucho mayor de lo que es. Pasa lo mismo con los mapas en los que un país grande y poco poblado parece más importante que uno pequeño y lleno de gente. Edward Tufte propuso medir esta distorsión con un número que llamó factor de mentira: el tamaño del efecto que muestra el gráfico dividido por el tamaño del efecto en los datos. Un gráfico honesto tiene un factor de mentira cercano a uno; en sus ejemplos de prensa encontró algunos que pasaban de catorce. Por eso Florence Nightingale hizo bien cuando, en su diagrama, puso el número de muertos proporcional al área y no al radio.

El tercero es la tarta en tres dimensiones. Un diagrama de sectores ya es difícil de leer, porque al ojo le cuesta comparar ángulos, y los estadísticos William Cleveland y Robert McGill demostraron con experimentos en los años ochenta que las personas comparamos longitudes con mucha más precisión que ángulos o áreas. Si además la tarta se inclina y se le da grosor, las porciones que quedan delante parecen más grandes que las de detrás, aunque representen lo mismo. Una porción del 20 por ciento puesta en primer plano puede parecer mayor que una del 25 al fondo. La perspectiva no añade información, solo distorsión.

El cuarto truco consiste en elegir las fechas. Una acción de bolsa que ha bajado durante cinco años puede parecer una inversión brillante si el gráfico empieza justo en el punto más bajo de la última caída. Unas cifras de paro, de delitos o de temperatura pueden contar una historia u otra según dónde se corte la serie. Este truco es especialmente peligroso porque el gráfico en sí es impecable: el eje empieza en cero, las proporciones son correctas, y la mentira está en lo que se ha dejado fuera.

El quinto son los dos ejes verticales. Cuando se dibujan dos variables en el mismo gráfico, cada una con su escala, una a la izquierda y otra a la derecha, se pueden ajustar las escalas para que las dos líneas parezcan moverse juntas, o para que se crucen justo donde interesa. Con ese recurso se puede hacer que casi cualquier par de cosas parezcan relacionadas, desde el consumo de queso hasta los accidentes de tráfico, y el lector concluye que una causa la otra, cuando como mucho hay una correlación espuria.

Hay otros trucos más sutiles. Usar números absolutos cuando lo relevante son proporciones, de modo que la región más poblada siempre parece la que tiene más de todo. Mezclar datos que no son comparables, como cifras de antes y después de un cambio en la forma de medirlos. Quitar la escala o las etiquetas para que nadie pueda comprobar nada. O poner tantos adornos, iconos, sombras y degradados que el dato se pierde entre la decoración, eso que Tufte llamaba con desprecio chartjunk, basura gráfica.

No todos los gráficos engañosos están hechos con mala intención. Muchos son el resultado de las opciones por defecto de un programa, de las prisas de una redacción o de un diseñador que quería que la figura «quedara bonita». El divulgador Alberto Cairo, en su libro Cómo mienten los gráficos, insiste en que el problema muchas veces no es el gráfico, sino el lector que no sabe leerlo, y que la solución pasa por aprender a mirarlos con la misma atención que se presta a un texto.

Para defenderse basta con unas cuantas preguntas. ¿Dónde empieza el eje? ¿Qué se compara, alturas, áreas o ángulos? ¿Los números son absolutos o relativos? ¿Qué periodo se muestra y qué pasaba justo antes? ¿Quién ha hecho el gráfico y qué quiere que piense? Son las mismas preguntas que hacía Huff en 1954, y la última es la más importante.

Pero ojo con el exceso contrario. Desconfiar de todos los gráficos no es la solución, porque, como enseña el cuarteto de Anscombe, mirar los datos dibujados sigue siendo la mejor forma de entenderlos. Se trata de mirar con atención, no de dejar de mirar. Y para mirar bien hay herramientas que se inventaron justamente para eso, como la caja con bigotes de John Tukey, de la que habla el siguiente capítulo: abre la caja.

John Tukey fue uno de esos científicos que dejan huella en sitios insospechados. Inventó la palabra bit para referirse a la unidad mínima de información, fue de los primeros en usar por escrito la palabra software, codiseñó uno de los algoritmos más usados de la informática, la transformada rápida de Fourier, y asesoró a varios presidentes de Estados Unidos. Pero su contribución más influyente fue quizá la más modesta: convencer a los estadísticos de que, antes de calcular nada, había que mirar los datos. Y para ayudarles a mirar, inventó una cajita con dos bigotes.

Para entender su propuesta hay que saber cómo se hacía estadística a mediados del siglo XX. La disciplina se había vuelto muy matemática. El trabajo típico consistía en partir de una hipótesis, suponer que los datos seguían una forma conocida, normalmente la distribución normal, y aplicar una prueba para decidir si la hipótesis se aceptaba o se rechazaba. Era un trabajo de confirmación: uno sabía de antemano qué preguntar. Tukey, que era matemático de formación pero había pasado la Segunda Guerra Mundial resolviendo problemas prácticos de artillería y de control de tiro, pensaba que eso era empezar la casa por el tejado.

En 1962 publicó un largo artículo titulado «El futuro del análisis de datos», que hoy se lee casi como un manifiesto. Ahí escribió una frase que se cita mucho: es mucho mejor una respuesta aproximada a la pregunta correcta, que a menudo es vaga, que una respuesta exacta a la pregunta equivocada, que siempre se puede hacer precisa. Tukey decía que el análisis de datos era una ciencia empírica, más parecida al trabajo de un detective que al de un juez. Primero hay que buscar pistas, ver qué forma tienen los datos, si hay cosas raras, si hay grupos, si la relación entre dos variables es una recta o una curva. Solo después, cuando uno sabe qué está mirando, tiene sentido confirmar.

A esa primera fase la llamó análisis exploratorio de datos, y en 1977 le dedicó un libro entero con ese título. Lo curioso es que el libro apenas usaba ordenadores: estaba pensado para trabajar con lápiz y papel, y proponía herramientas que cualquiera podía dibujar a mano en unos minutos. La más famosa es el diagrama de caja con bigotes, en inglés boxplot.

El diagrama de caja y bigotes resume un montón de datos con cinco números y un dibujo. Se ordenan todos los valores de menor a mayor y se buscan tres puntos de corte que los dividen en cuatro partes iguales, los cuartiles. El del medio es la mediana, el valor que deja la mitad de los datos por debajo y la mitad por encima. Los otros dos marcan dónde quedan el 25 y el 75 por ciento. La caja va del primer cuartil al tercero, así que dentro de ella está la mitad central de los datos, y una raya dentro de la caja marca la mediana. Luego salen dos bigotes, uno hacia arriba y otro hacia abajo, que llegan hasta los datos más extremos que no estén demasiado lejos de la caja. Y los que están demasiado lejos, a más de una vez y media la altura de la caja, se dibujan sueltos, como puntos aislados: son los valores atípicos, los que merecen una segunda mirada.

La gracia del dibujo es que, de un vistazo, cuenta varias cosas que la media sola no dice. Dónde está el centro. Cuánto se dispersan los datos, por el tamaño de la caja y los bigotes. Si la distribución es simétrica o está torcida hacia un lado, porque en ese caso la mediana no queda en el centro de la caja y un bigote es mucho más largo que el otro. Y si hay datos raros que conviene investigar. Además, como es pequeño, se pueden poner varias cajas una al lado de la otra para comparar grupos: los sueldos de hombres y mujeres, las notas de varios colegios, los tiempos de entrega de varios proveedores. Ver diez cajas en fila enseña en segundos lo que diez tablas de números tardarían una hora en contar.

Tukey propuso también otras herramientas igual de sencillas. Una es el diagrama de tallo y hojas, una especie de histograma hecho con los propios números, en el que las decenas forman el tallo y las unidades se escriben como hojas a su lado. Así se ve la forma de los datos sin perder los valores concretos. Otra es la costumbre de usar medidas resistentes, como la mediana en lugar de la media, que no se dejan arrastrar por un solo valor extremo. Tukey las llamaba así porque resisten a los datos rebeldes, y la idea es muy útil cuando, como explica cuando la media miente, basta un millonario para disparar la media de todo un bar.

La idea del análisis exploratorio cayó al principio como una pequeña herejía, porque parecía poco riguroso «mirar» los datos antes de tener una hipótesis. Había un peligro real, y Tukey lo sabía: si uno explora muchos datos buscando patrones, acabará encontrando alguno por pura casualidad, y si luego usa los mismos datos para confirmarlo, se estará engañando. Por eso insistía en separar las dos fases: la exploración sirve para generar ideas, y la confirmación, con datos nuevos o con pruebas bien diseñadas, sirve para comprobarlas. Las dos son necesarias, y ninguna sustituye a la otra.

Con el tiempo, Tukey ganó la discusión. Hoy, cualquier persona que trabaja con datos, en una universidad, una empresa o un periódico, empieza por explorarlos: dibujarlos, buscar valores raros, mirar su forma. Los programas de estadística llevan el diagrama de caja de serie, y los científicos de datos tienen un nombre para esa primera fase, que viene directamente de su libro. La caja con bigotes, por su parte, se ha convertido en uno de los gráficos más usados en los artículos científicos.

Tukey era además cuñado de Francis Anscombe, el del cuarteto de datos que tienen los mismos números y dibujos muy distintos: se habían casado con dos hermanas. Los dos defendían lo mismo desde ángulos distintos. Anscombe enseñó que los números pueden esconder lo importante, y Tukey dio las herramientas para encontrarlo. Juntos, cambiaron la forma de empezar cualquier análisis: antes de calcular, abre la caja y mira dentro.

A finales de los años cuarenta, la Fuerza Aérea de Estados Unidos tenía un problema que no sabía explicar. Sus aviones se estrellaban con una frecuencia alarmante, a veces hasta diecisiete en un solo día, y no era por fallos mecánicos ni, en la mayoría de los casos, por errores de pilotaje evidentes. Los aviones eran cada vez más rápidos y más complicados, y los pilotos no conseguían controlarlos. Alguien apuntó a la cabina. Se había diseñado en 1926 a partir de las medidas de cientos de pilotos, y se pensó que quizá los pilotos de ahora eran más grandes. Había que medirlos de nuevo.

En 1950, en la base de Wright-Patterson, en Ohio, los investigadores midieron a 4.063 pilotos en 140 dimensiones del cuerpo: la estatura, el largo del brazo, el contorno del pecho, la distancia del ojo al asiento. Entre los encargados del estudio estaba un joven teniente llamado Gilbert Daniels, que había estudiado antropología física en Harvard y que se hizo una pregunta que a nadie se le había ocurrido: ¿cuántos de esos pilotos son realmente medios?

Daniels eligió las diez medidas más importantes para diseñar una cabina y calculó la media de cada una. Luego definió como «medio» a cualquier piloto que quedara dentro del 30 por ciento central de cada medida, es decir, un margen bastante generoso alrededor de la media. Y contó cuántos pilotos eran medios en las diez a la vez. La respuesta fue cero. Ninguno de los 4.063 pilotos era medio en todo. Si solo se consideraban tres de las medidas, menos del 3,5 por ciento cumplía. Una cabina diseñada para el piloto medio estaba diseñada, literalmente, para nadie.

La razón es sencilla una vez que se ve. Un piloto puede tener la estatura media, pero brazos largos y piernas cortas. Otro puede tener el pecho medio y el cuello ancho. Cada persona se aparta de la media en alguna medida, y como esas desviaciones no van siempre juntas, cuantas más medidas se exigen, más difícil es encontrar a alguien que esté cerca del centro en todas. La media de cada medida existe; la persona que tiene todas las medias a la vez, no.

El informe de Daniels, publicado en 1952 con el título ¿El «hombre medio»?, tuvo una consecuencia práctica inmediata. La Fuerza Aérea dejó de diseñar para la media y empezó a exigir a los fabricantes que los aviones se adaptaran al piloto: asientos que suben y bajan, pedales que se acercan y se alejan, cascos y correas regulables. Hoy esos ajustes nos parecen obvios, y los tenemos en cualquier coche, pero entonces fueron una revolución, y según cuenta el investigador Todd Rose, el rendimiento de los pilotos mejoró de forma notable.

La idea que Daniels desmontó tenía más de un siglo, y tenía padre. Adolphe Quetelet era un astrónomo belga, nacido en Gante en 1796, que había dirigido la construcción del observatorio de Bruselas. Los astrónomos de su época sabían algo muy útil: cuando se mide muchas veces la posición de una estrella, las mediciones salen un poco distintas por culpa de pequeños errores, y esos errores se reparten siguiendo una curva en forma de campana, la que hoy llamamos distribución normal. La media de todas las mediciones es la mejor estimación de la posición verdadera.

Quetelet tuvo una idea audaz: aplicar el mismo razonamiento a las personas. Tomó las medidas del contorno del pecho de 5.738 soldados escoceses y vio que también se repartían en forma de campana. Concluyó que la naturaleza tenía en mente un tipo ideal, un molde, y que cada persona era una copia imperfecta de él, igual que cada medición de la estrella era una copia imperfecta de su posición real. En 1835 publicó un libro en el que bautizó ese molde como l’homme moyen, el hombre medio. Para Quetelet, el hombre medio no era una abstracción, sino el modelo de lo que una sociedad debía ser: la belleza, la salud y la virtud estaban en el centro, y los extremos eran desviaciones, cuando no defectos.

La idea fue un éxito enorme. Quetelet aplicó sus métodos al crimen, al suicidio o a la edad a la que la gente se casaba, y encontró regularidades sorprendentes de un año a otro, igual que había hecho John Graunt con los muertos de Londres dos siglos antes. Fundó lo que llamó física social, y su influencia llegó a la medicina, a la sociología y a la política. Un invento suyo sigue en las consultas médicas de todo el mundo: dividir el peso de una persona por el cuadrado de su estatura, el índice de Quetelet, que hoy conocemos como índice de masa corporal.

Pero la idea tenía una trampa, y es la que encontró Daniels. Que cada medida se reparta alrededor de una media no quiere decir que exista una persona media. Y que la media resuma bien una medida no la convierte en el ideal. Quetelet confundió una herramienta de resumen con un modelo de ser humano.

La confusión no se quedó en el siglo XIX. En 1945, un periódico de Cleveland organizó un concurso para encontrar a la mujer que más se pareciera a Norma, una escultura hecha con las medias de miles de mujeres jóvenes estadounidenses. Se presentaron casi cuatro mil, y ninguna coincidía con Norma en las nueve medidas que se compararon. La ganadora se le parecía en unas pocas. Pasa lo mismo hoy con las tallas de ropa, los asientos de los aviones o los muñecos de los ensayos de choque de los coches, que durante décadas se diseñaron sobre el cuerpo de un hombre medio y protegían peor a las mujeres.

Nada de esto significa que la media no sirva. Es útil para resumir un grupo, para comparar dos poblaciones o para seguir cómo cambia algo con el tiempo. Lo que no se puede hacer es tratarla como si fuera una persona. Cuando se diseña algo que van a usar personas reales, sea una cabina, una silla o un plan de estudios, conviene pensar en la variedad y no en la media. Y cuando se describe un grupo, conviene recordar que la media es un número sobre el grupo, no sobre ninguno de sus miembros. De lo que pasa cuando la media ni siquiera describe bien al grupo trata el siguiente capítulo: cuando la media miente.

Imagina un bar de barrio con cincuenta clientes un viernes por la tarde. Son gente corriente, con sueldos corrientes, y si les preguntas cuánto ganan al año y calculas la media, te sale una cifra razonable, pongamos que 30.000 euros. Entonces se abre la puerta y entra Bill Gates a tomarse una caña. Si vuelves a calcular la media de lo que tienen los clientes del bar, esta vez su patrimonio, la cifra se dispara a cientos de millones de euros por cabeza. Según la media, todo el bar se ha vuelto inmensamente rico de golpe. Nadie en la barra ha notado nada.

El ejemplo es un clásico de las clases de estadística porque enseña en diez segundos el defecto principal de la media: es muy sensible a los valores extremos. La media suma todos los datos y los reparte a partes iguales, así que un solo valor enorme se reparte entre todos y los arrastra hacia arriba. Si en vez de la media calculas la mediana, que es el valor que queda justo en el centro cuando ordenas a todos de menor a mayor, la llegada de Bill Gates casi no la mueve: el cliente del medio sigue siendo el mismo, o el de al lado. La mediana describe al bar; la media, después de que entre el millonario, describe a un bar que no existe.

Esto no es una curiosidad de bar. Pasa con los sueldos de cualquier país. En España, según la encuesta de estructura salarial del Instituto Nacional de Estadística, el salario bruto anual medio de 2022 rondaba los 27.000 euros. La mediana, en cambio, se quedaba en unos 22.400. Hay más de 4.500 euros de diferencia, y no es un error: es la forma que tienen los sueldos. La mayoría de la gente cobra cantidades parecidas, pero hay una minoría que cobra mucho, y unos pocos que cobran muchísimo. Esa cola larga de sueldos altos tira de la media hacia arriba, mientras que la mediana se queda donde está el grueso de la gente.

La consecuencia es contraintuitiva: la mayoría de los trabajadores cobra menos que el salario medio. Cuando un titular dice que el sueldo medio ha subido, mucha gente compara con su nómina y piensa que algo no cuadra, y tiene razón. Para saber cuánto gana un trabajador típico, el número correcto es la mediana. Lo mismo ocurre con los precios de los pisos, con la riqueza de las familias, con el número de seguidores en las redes sociales o con la taquilla de las películas. En todos esos casos hay unos pocos valores gigantescos que hacen que la media sea engañosa.

En estadística, a esa forma se le llama distribución asimétrica, o sesgada hacia la derecha: si dibujas el histograma de los sueldos, verás una montaña alta a la izquierda, donde está la mayoría, y una cola larga que se extiende hacia la derecha. En una distribución así, la media casi siempre queda a la derecha de la mediana, arrastrada por la cola. Y aún hay una tercera medida, la moda, que es el valor más frecuente, y que en los sueldos queda todavía más a la izquierda que la mediana. Cuando estos tres números no coinciden, los datos están contando algo, y conviene escucharlos.

Hay un ejemplo aún más curioso de cómo la media puede ser absurda. Casi todas las personas tienen dos piernas, pero unas pocas tienen una o ninguna por culpa de un accidente o una enfermedad. Así que la media de piernas por persona es un poquito menor que dos, algo como 1,99. Resultado: casi toda la humanidad tiene más piernas que la media. No hay ningún error en el cálculo; simplemente, la media no es un buen resumen de algo en lo que casi todo el mundo coincide y unos pocos se apartan en una sola dirección.

¿Significa esto que hay que olvidarse de la media? No. La media tiene una virtud que la mediana no tiene: cuenta con todos los datos y con todo su peso. Si lo que te interesa es el total, por ejemplo cuánto va a recaudar Hacienda con un impuesto sobre la renta, cuánta agua gasta una ciudad o cuánto se va a gastar una empresa en sueldos, necesitas la media, porque el total es la media multiplicada por el número de personas. Ahí, el sueldo del millonario sí importa, y mucho. Además, cuando los datos son simétricos, como las estaturas de los adultos de un mismo sexo, la media y la mediana casi coinciden, y la media tiene propiedades matemáticas que la hacen más cómoda para trabajar.

La pregunta, por tanto, no es cuál es mejor, sino qué quieres saber. Si quieres describir al caso típico, al trabajador corriente o al piso normal, la mediana suele ser más honesta. Si quieres hablar del total o del reparto entre todos, la media es la adecuada. Y si las dos son muy distintas, lo más honesto es dar las dos, porque la diferencia entre ellas ya es una información valiosa: indica lo desigual que es el reparto.

Hay soluciones intermedias. Una es la media recortada, que quita un porcentaje de los valores más altos y más bajos antes de calcular la media, como hacen los jueces en algunas competiciones deportivas cuando descartan la nota más alta y la más baja. John Tukey, el inventor del diagrama de caja, defendía este tipo de medidas resistentes precisamente porque no se dejan engañar por unos pocos valores extremos.

Y queda una advertencia más. Quien quiere que una cifra parezca grande escoge la medida que más sale, y quien quiere que parezca pequeña, la que menos. Darrell Huff ya advertía en 1954 de que una misma empresa puede presumir ante sus accionistas de un sueldo medio alto, que incluye los de los directivos, y discutir con el sindicato usando la mediana, mucho más baja. Las dos cifras son ciertas. Por eso, cada vez que alguien diga «de media», conviene preguntarse qué media es, de quién y por qué la ha elegido. Y aun eligiendo bien, un solo número tiene un límite, que es justo de lo que habla el capítulo siguiente: tengo un pie en agua hirviendo y otro en hielo.

Hay un chiste que los estadísticos se cuentan a sí mismos, y que existe en muchas versiones. Un hombre tiene un pie metido en un cubo de agua hirviendo y el otro en un cubo de hielo. Le preguntan qué tal está y responde: «De media, estupendamente». Otra versión habla de un estadístico que se ahogó al cruzar un río cuya profundidad media era de un metro. Y otra, de un cazador que dispara a un pato y falla por un metro a la izquierda, dispara otra vez y falla por un metro a la derecha, y su compañero estadístico grita: «¡Le hemos dado!».

Los tres chistes dicen lo mismo: una media puede ser perfectamente correcta y no servir para nada, o peor, llevarte al desastre. El hombre de los cubos tiene una temperatura media agradable y dos pies destrozados. El río tiene una profundidad media de un metro, pero en el centro hay un pozo de tres. El pato, de media, está muerto, y en realidad se ha ido volando. El problema no es el cálculo, sino lo que se ha perdido al hacerlo: la variación.

Ya hemos visto en capítulos anteriores que la media puede engañar cuando hay valores extremos que la arrastran, y que puede describir a una persona que no existe. Este capítulo va un paso más allá: aunque la media esté bien elegida y describa bien el centro, un solo número no puede contar cómo se reparten los datos alrededor de ese centro, y muchas veces eso es justo lo que importa.

Piensa en el clima. Dos ciudades pueden tener la misma lluvia media al año, y una tenerla repartida en lluvias suaves cada semana, mientras la otra la recibe en tres tormentas que inundan las calles y luego nada durante meses. Para un agricultor o para un ingeniero que diseña el alcantarillado, esas dos ciudades no se parecen en nada. Un embalse diseñado para la lluvia media se desborda en las tormentas y se seca en las sequías. Pasa lo mismo con un hospital que calcula sus camas para la ocupación media: la mitad de los días le sobran, y la otra mitad hay pacientes en los pasillos.

El economista Sam Savage, de la Universidad de Stanford, bautizó este problema como la falacia de las medias, y lo resumió en una frase: los planes basados en condiciones medias fallan, de media. Su ejemplo favorito es el de un borracho que camina tambaleándose por el centro de una carretera. Su posición media es la línea del centro, donde los coches no pasan, así que de media está a salvo. Su posición real va de un lado a otro y, en algún momento, acaba en un carril. Con el borracho de media, nadie muere atropellado; con el borracho real, sí.

Detrás hay una idea matemática muy bonita, que demostró el matemático danés Johan Jensen en 1906 y que se conoce como la desigualdad de Jensen. Dice, más o menos, que cuando el resultado de algo no crece en línea recta con sus causas, el resultado medio no es igual al resultado de la causa media. Un ejemplo sencillo: una empresa tiene que terminar un proyecto que depende de tres equipos que trabajan a la vez, y cada uno tarda de media diez días, a veces ocho, a veces doce. ¿Cuánto tarda el proyecto de media? Uno diría que diez días, pero no: el proyecto termina cuando acaba el equipo más lento, y basta con que uno de los tres se retrase para que se retrase todo. El resultado es que el proyecto tarda de media bastante más de diez días, aunque cada equipo, de media, tarde diez. Por eso casi todas las obras, las mudanzas y las reformas se alargan: se planifican con medias.

Hay otro ejemplo, menos evidente y muy práctico. Imagina que inviertes cien euros y el primer año ganan un 50 por ciento, y el segundo pierden un 50 por ciento. La rentabilidad media es cero, así que uno pensaría que sigues teniendo tus cien euros. Pero el primer año pasan a 150 y el segundo, al perder la mitad, se quedan en 75. Has perdido un cuarto de tu dinero con una rentabilidad media de cero. Por eso en finanzas se usa la media geométrica, que tiene en cuenta cómo se acumulan las subidas y bajadas, y por eso la variación, lo que los financieros llaman volatilidad, es en sí misma un coste.

¿Qué hacer entonces? Lo primero es no conformarse nunca con un solo número cuando se toma una decisión importante. Junto a la media hay que preguntar siempre cuánto varían los datos, y para eso existen medidas como la desviación típica, que dice cuánto se separan de media los datos de su media, y de la que trata el capítulo siguiente. Lo segundo es fijarse en los extremos, porque muchas veces lo que importa no es el caso típico, sino el peor: el puente se diseña para la riada de cada cien años, no para el caudal medio, y el hospital se dimensiona para el invierno de la gripe, no para la semana tranquila de agosto. Lo tercero es mirar los datos dibujados, porque un histograma o un diagrama de caja enseñan de un vistazo lo que la media esconde.

Al ensayista y antiguo operador de bolsa Nassim Taleb se le atribuye el consejo de no cruzar nunca un río solo porque tenga, de media, un metro de profundidad. La frase resume todo el capítulo. La media es una herramienta extraordinaria para resumir, comparar y seguir la evolución de algo, y la usamos todos los días con razón. Pero es un resumen, y todo resumen pierde algo. Cuando lo que se pierde es la variación, a veces se pierde lo único que importaba.

Si te dicen que una ciudad española tiene una temperatura media anual de unos quince grados, ¿qué ropa meterías en la maleta para pasar allí un año? Es una pregunta trampa, porque esa descripción vale para Madrid y para A Coruña, que tienen medias anuales muy parecidas. Y sin embargo, cualquiera que haya vivido en las dos sabe que sus climas no se parecen en nada. En Madrid, enero ronda los seis grados de media, con heladas por la noche, y julio pasa de los veinticinco, con tardes que superan con frecuencia los treinta y cinco. En A Coruña, el mar suaviza todo: el mes más frío anda por los diez grados y el más cálido apenas pasa de los diecinueve. La misma media, dos mundos distintos.

Lo que separa a las dos ciudades no es el centro, sino la dispersión: cuánto se alejan las temperaturas de esa media a lo largo del año. En Madrid se alejan mucho, hacia arriba en verano y hacia abajo en invierno. En A Coruña se quedan cerca. Para describir un clima, o cualquier otro conjunto de datos, hacen falta al menos dos números: uno que diga dónde está el centro y otro que diga cuánto se separan los datos de él. El segundo número más usado se llama desviación típica, o desviación estándar.

La idea se entiende con un ejemplo de clase. Un profesor tiene dos grupos de alumnos y los dos sacan un 5 de media en el examen. En el primero, todos han sacado entre un 4 y un 6. En el segundo, la mitad ha sacado un 9 o un 10 y la otra mitad, un 0 o un 1. La media no distingue entre los dos grupos, pero el profesor sí debería hacerlo, porque en el primero tiene una clase homogénea a la que puede dar el mismo ritmo, y en el segundo tiene dos clases distintas metidas en la misma aula. La desviación típica del primer grupo será pequeña, menos de un punto. La del segundo será enorme, más de cuatro puntos.

¿Cómo se calcula? La receta tiene cuatro pasos y se puede seguir con calma. Primero, se calcula la media. Segundo, se mira cuánto se aleja cada dato de esa media: un alumno con un 9 en una clase de media 5 se aleja cuatro puntos hacia arriba, y uno con un 1 se aleja cuatro hacia abajo. Tercero, se elevan esas distancias al cuadrado, para que las de arriba y las de abajo no se anulen entre sí y para que las grandes pesen más que las pequeñas, y se calcula la media de esos cuadrados. Ese número se llama varianza. Cuarto, como la varianza está en unidades al cuadrado, puntos al cuadrado o grados al cuadrado, que no significan nada intuitivo, se le hace la raíz cuadrada para volver a las unidades de partida. Eso es la desviación típica: más o menos, la distancia típica a la que queda un dato de su media.

La forma de calcularla viene del trabajo de los astrónomos y los matemáticos de los siglos XVIII y XIX, como Carl Friedrich Gauss, que necesitaban saber cuánto se equivocaban sus mediciones. El nombre de desviación estándar lo puso el estadístico británico Karl Pearson en 1894, en un artículo sobre la teoría de la evolución, y se ha quedado desde entonces.

Una de las cosas más útiles de la desviación típica aparece cuando los datos tienen forma de campana, la de la distribución normal, como pasa con muchas medidas biológicas. En ese caso se cumple una regla muy práctica: alrededor de dos tercios de los datos quedan a menos de una desviación típica de la media, alrededor del 95 por ciento quedan a menos de dos, y casi todos, el 99,7 por ciento, a menos de tres. Los test de inteligencia, por ejemplo, se construyen para que la media sea 100 y la desviación típica 15. Eso quiere decir que dos de cada tres personas puntúan entre 85 y 115, y que menos de un 3 por ciento pasa de 130. Con dos números, la media y la desviación típica, se describe toda la población.

La desviación típica está en todas partes, aunque no la nombremos. En la bolsa se le llama volatilidad, y mide el riesgo de una inversión: dos fondos que han rendido lo mismo de media no son igual de arriesgados si uno sube y baja mucho más que el otro. En una fábrica, mide la calidad: un fabricante de tornillos no solo quiere que tengan de media el diámetro correcto, sino que todos lo tengan, y el control de calidad consiste en vigilar que la desviación típica sea pequeña. En medicina, sirve para decidir qué es normal: un análisis de sangre marca como anormal un valor que se aleja de la media de la población sana más de un cierto número de desviaciones típicas. Y en las encuestas, el margen de error que acompaña a cada porcentaje sale de una desviación típica.

Hay que saber también lo que la desviación típica no hace bien. Como eleva las distancias al cuadrado, es muy sensible a los valores extremos, igual que la media: un solo dato muy raro la dispara. Por eso, cuando los datos tienen colas largas, como los sueldos, se prefieren otras medidas de dispersión más resistentes, como el recorrido intercuartílico, que es la altura de la caja en el diagrama de caja de Tukey. Y tampoco sirve para comparar la variación de cosas que se miden en escalas muy distintas: una desviación de un kilo es enorme en el peso de un recién nacido y despreciable en el de un elefante. Para eso existe el coeficiente de variación, que divide la desviación típica por la media y la expresa en porcentaje.

La lección de fondo es la misma que la del hombre con un pie en agua hirviendo y otro en hielo: la media cuenta dónde está el centro, pero no cómo es la vida alrededor de él. Para saber qué ropa meter en la maleta, para saber si un medicamento funciona igual en todos los pacientes o para saber si una inversión te dejará dormir, hace falta preguntar también cuánto varían las cosas. Y cuando lo que varía es el reparto de algo entre las personas, como la renta o la riqueza, la estadística tiene una medida especial para ello, que es la protagonista del capítulo siguiente: el arte de medir lo desigual.

Imagina que diez personas tienen que repartirse una tarta. Si cada una se lleva un trozo igual, el reparto es perfectamente igualitario. Si una se queda con toda la tarta y las otras nueve miran, es perfectamente desigual. Entre esos dos extremos hay infinitas formas de repartir, y la pregunta es cómo poner un número a cada una para poder compararlas. ¿Es más desigual un reparto en el que una persona se lleva la mitad y el resto se reparte a partes iguales, o uno en el que tres personas se llevan casi todo? Para contestar hace falta una regla de medir, y la más usada del mundo la inventó un estadístico italiano en 1912.

Antes de él, en 1905, un joven economista estadounidense llamado Max Lorenz propuso una forma de dibujar la desigualdad que se sigue usando hoy. Se ordenan las personas de la más pobre a la más rica, y se va sumando qué parte del total se llevan. Se dibuja en un gráfico: en el eje horizontal, el porcentaje de la población, y en el vertical, el porcentaje de la renta que acumula. Si el reparto fuera igualitario, el 10 por ciento más pobre tendría el 10 por ciento de la renta, la mitad más pobre tendría la mitad, y la curva sería una línea recta en diagonal. En la realidad, los más pobres tienen bastante menos que su parte, y la curva se comba por debajo de la diagonal como una cuerda floja. Cuanto más se comba, más desigual es el reparto. Esa es la curva de Lorenz.

Corrado Gini, profesor de estadística en Italia, tuvo la idea de convertir ese dibujo en un solo número. Midió la superficie que queda entre la diagonal de la igualdad y la curva real, y la comparó con la superficie máxima posible, la que habría si una sola persona se lo llevara todo. El resultado es un número entre cero y uno. Un cero quiere decir igualdad perfecta: todos tienen lo mismo. Un uno quiere decir desigualdad absoluta: uno lo tiene todo. A menudo se multiplica por cien y se habla de un Gini de 32 en lugar de 0,32. Hay otra forma de entenderlo, quizá más intuitiva: si se eligen dos personas al azar en un país, el índice de Gini es la mitad de la diferencia media de renta entre ellas, medida en relación con la renta media. Cuanto más se diferencian, de media, dos vecinos cualesquiera, más alto es el Gini.

El artículo técnico sobre el coeficiente de Gini tiene un gráfico interactivo con la curva de Lorenz de muchos países, donde se puede ver cómo cambia la curva y el número. Aquí basta con unos órdenes de magnitud. Para la renta disponible de los hogares, es decir, después de pagar impuestos y recibir pensiones y ayudas, los países más igualitarios de Europa, como Eslovaquia, Eslovenia o los países nórdicos, tienen un Gini entre 0,22 y 0,27. España está algo por encima de 0,30, cerca de la media europea, aunque entre las más altas de la zona euro. Estados Unidos ronda el 0,39. Y los países más desiguales del mundo, como Sudáfrica, pasan de 0,60. Si en vez de la renta se mide la riqueza, es decir, lo que la gente tiene acumulado en casas, ahorros y empresas, los números se disparan, porque la riqueza está mucho más concentrada que los sueldos: en casi todos los países el Gini de la riqueza pasa de 0,6.

Una de las aplicaciones más interesantes del Gini es medir lo que hace el Estado. Si se calcula el índice con la renta que la gente gana en el mercado, antes de impuestos y transferencias, y luego con la renta disponible, la diferencia entre los dos números dice cuánta desigualdad corrigen los impuestos, las pensiones y las prestaciones. En los países europeos, esa corrección es grande: el Gini de la renta de mercado suele estar cerca de 0,5, y después de impuestos y transferencias baja a la franja de 0,25 a 0,35. Buena parte de esa bajada la hacen las pensiones.

Pero el Gini, como todo resumen en un solo número, esconde cosas, y conviene recordar la lección del capítulo sobre el peligro de resumir todo en un número. La principal es que dos repartos muy distintos pueden tener el mismo Gini. Un país donde la clase media es amplia y unos pocos muy ricos se llevan mucho, y otro donde hay muchos pobres y una clase alta grande y homogénea, pueden dar exactamente el mismo número, porque sus curvas de Lorenz se cruzan pero encierran la misma superficie. El Gini dice cuánta desigualdad hay, pero no dónde está.

Por eso los economistas usan también otras medidas. Una que se ha hecho popular es el índice de Palma, propuesto por el economista chileno Gabriel Palma, que divide lo que se lleva el 10 por ciento más rico entre lo que se lleva el 40 por ciento más pobre. Palma observó que, en casi todos los países, la mitad de la población que está entre esos dos grupos se lleva más o menos la mitad de la renta, y que lo que distingue a un país de otro es cómo se reparten la otra mitad los extremos. Otra forma muy directa es comparar percentiles: cuántas veces gana el 10 por ciento más rico respecto al 10 por ciento más pobre. Y luego está la distribución de Pareto, que describe la forma de la cola de los muy ricos.

También importa qué se mide y cómo. No es lo mismo medir la renta de cada persona que la de cada hogar, ni ajustar por el tamaño de la familia que no hacerlo. Las encuestas tienden a dejar fuera a los más ricos, que contestan poco, y por eso los estudios más recientes combinan encuestas con datos fiscales. Y un Gini anual no dice nada de la movilidad: un país donde la gente pasa de pobre a rica a lo largo de la vida puede tener el mismo índice que uno donde cada cual se queda en su sitio para siempre.

Hay una nota incómoda en la historia. Corrado Gini fue un estadístico brillante y también un defensor declarado del fascismo italiano. Dirigió el instituto de estadística del régimen de Mussolini entre 1926 y 1932, escribió sobre las bases científicas del fascismo y defendió ideas eugenésicas. Su índice ha sobrevivido a sus ideas, como tantas herramientas que se separan de quien las inventó.

Medir la desigualdad es, como dice el título, un arte, porque exige decidir qué se mide, en quién y con qué regla. El índice de Gini no es perfecto, pero tiene una virtud enorme: permite comparar países y años con un mismo criterio, y discutir con datos en lugar de con impresiones. Y como cualquier comparación entre grupos, hay que hacerla con cuidado, porque los datos agrupados pueden jugar malas pasadas, como enseña la paradoja de Simpson dos capítulos más adelante. Antes, sin embargo, hay que hablar de los datos que faltan, los de quienes no vuelven para contarlo: los aviones que volvían y los que no.

Durante la Segunda Guerra Mundial, los bombarderos aliados que volvían de sus misiones sobre Alemania llegaban acribillados. Los mecánicos anotaban dónde tenían los agujeros de bala y de metralla, y el patrón era claro: muchos en las alas, en el fuselaje y en la cola, y pocos en los motores y en la cabina. La conclusión parecía evidente. Había que reforzar con blindaje las zonas que más balazos recibían. El blindaje pesa, así que no se podía blindar todo el avión, y lo sensato era ponerlo donde más falta hacía.

Un matemático llamado Abraham Wald dijo que era justo al revés. Había que blindar donde no había agujeros.

Su razonamiento es uno de los más elegantes de la historia de la estadística, y se entiende sin una sola fórmula. Los datos venían solo de los aviones que habían vuelto. Si los disparos caían más o menos al azar por todo el avión, que es lo razonable cuando se dispara desde lejos a un blanco en movimiento, los aviones derribados también tendrían agujeros, y en algún sitio. ¿Dónde? Precisamente en las zonas donde los supervivientes no los tenían. Que los aviones que volvían tuvieran pocos impactos en los motores no quería decir que los motores recibieran pocos disparos. Quería decir que los aviones que recibían disparos en los motores no volvían. Los agujeros de los supervivientes enseñaban dónde un avión podía recibir balazos y seguir volando. Los huecos sin agujeros enseñaban dónde un balazo era mortal.

Wald había nacido en 1902 en Cluj, entonces en el reino de Hungría y hoy en Rumanía, en una familia judía. Estudió matemáticas en Viena, donde hizo una carrera brillante, y huyó a Estados Unidos en 1938, cuando Alemania se anexionó Austria. Casi toda su familia murió en el Holocausto. En Nueva York se unió al Statistical Research Group de la Universidad de Columbia, un grupo de matemáticos de primera fila que trabajaba para el ejército en problemas prácticos: cómo apuntar, cómo controlar la calidad de la munición o, en este caso, cómo hacer que los aviones sobrevivieran.

La historia, tal como se cuenta, ha ganado algo de leyenda con los años. Los informes que Wald escribió en 1943, que se publicaron completos mucho después, son más técnicos que la anécdota: desarrollan un método matemático para estimar, a partir de los daños de los aviones que volvían, la probabilidad de que un impacto en cada zona derribara el avión. No hay pruebas de una escena dramática con un general y una pizarra, y no está claro cuánto influyeron sus cálculos en el blindaje real de los aviones. Pero la idea central es exactamente la suya, y es tan poderosa que ha dado nombre a uno de los sesgos más famosos: el sesgo del superviviente.

El sesgo del superviviente aparece cada vez que sacamos conclusiones solo de los casos que han pasado un filtro, olvidando los que se quedaron por el camino. Y una vez que uno lo conoce, lo ve en todas partes.

Lo ve en la frase «ya no se hacen las cosas como antes». Las casas antiguas que vemos en pie son sólidas y bonitas, y las neveras de los abuelos que siguen funcionando parecen indestructibles. Pero vemos solo las que han sobrevivido. Las casas mal construidas del siglo XIX se cayeron o se derribaron hace mucho, y las neveras que se estropearon acabaron en el desguace. Lo que queda es una muestra de lo mejor, no de lo normal.

Lo ve en los consejos para tener éxito. Los libros de autoayuda y las entrevistas a empresarios cuentan las historias de quienes dejaron la universidad, apostaron todo a una idea y se hicieron millonarios. No cuentan las de los miles que hicieron exactamente lo mismo y se arruinaron, porque nadie les hace entrevistas. Si solo miramos a los ganadores, cualquier cosa que hicieran parece la receta del éxito, aunque también la siguieran casi todos los perdedores.

Lo ve en los fondos de inversión. Cuando un banco anuncia que sus fondos han rendido de media un 8 por ciento en los últimos diez años, a menudo solo cuenta los fondos que siguen existiendo. Los que iban mal se cerraron o se fusionaron con otros, y desaparecieron de las estadísticas. La media de los supervivientes siempre parece mejor que la de todos los que empezaron.

Y lo ve, de forma curiosa, en los gatos. En 1987, dos veterinarios de Nueva York estudiaron 132 gatos que habían caído desde edificios altos y descubrieron algo sorprendente: los que caían desde más de siete pisos parecían sufrir menos lesiones que los que caían desde menos altura. Se propusieron explicaciones físicas ingeniosas, como que a partir de cierta altura el gato alcanza su velocidad máxima, se relaja y extiende las patas como un paracaídas. Puede que algo de eso sea cierto, pero hay otra explicación más sencilla: los gatos que mueren en la caída desde un piso muy alto no los lleva nadie al veterinario. Los datos solo incluían a los que sobrevivían lo bastante como para llegar a la clínica.

La lección de Wald es una pregunta que conviene hacerse siempre ante unos datos: ¿quién falta aquí? Antes de sacar conclusiones, hay que pensar en cómo se ha llegado a esa muestra y en qué filtro ha pasado. Es una forma especial de sesgo de selección, quizá la más traicionera, porque los que faltan no dejan rastro: no se quejan, no rellenan encuestas, no vuelven a la base. Su silencio parece una ausencia de problemas, cuando a veces es el problema entero.

Los datos que vemos no siempre son todos los datos que hay. A veces, lo más importante está en los que no volvieron. Y a veces, como enseña el capítulo siguiente sobre la paradoja de Simpson, están todos los datos, pero la forma de agruparlos les hace decir lo contrario de lo que dicen.

En 1973, la Universidad de California en Berkeley se encontró con un problema. Ese otoño habían pedido plaza en sus programas de posgrado 8.442 hombres y 4.321 mujeres, y habían sido admitidos el 44 por ciento de los hombres y solo el 35 por ciento de las mujeres. La diferencia era demasiado grande para ser casualidad, y parecía una prueba clara de discriminación. La universidad, preocupada por una posible demanda, pidió a un estadístico, Peter Bickel, que lo estudiara.

Bickel y sus colegas hicieron lo que haría cualquier persona con sentido común: mirar los datos departamento por departamento, porque en Berkeley cada departamento decidía sus propias admisiones. Y encontraron algo desconcertante. En la mayoría de los departamentos, las mujeres eran admitidas en la misma proporción que los hombres, o incluso en una proporción mayor. Si había algún sesgo departamento a departamento, era ligeramente a favor de las mujeres. ¿Cómo podía ser que cada departamento tratara igual o mejor a las mujeres y que, al sumarlos todos, las mujeres salieran claramente perjudicadas?

La respuesta estaba en dónde pedían plaza unos y otras. Las mujeres se presentaban sobre todo a departamentos muy solicitados y con pocas plazas, como los de humanidades y ciencias sociales, donde se admitía a una fracción pequeña de los candidatos, fueran hombres o mujeres. Los hombres se presentaban más a departamentos como ingeniería o química, que tenían más plazas y admitían a la mayoría de los que llamaban a la puerta. Al juntar todos los departamentos, las mujeres arrastraban la tasa baja de los departamentos difíciles, y los hombres, la tasa alta de los fáciles. La discriminación aparente no estaba en las admisiones, sino en la mezcla. El artículo se publicó en 1975 en la revista Science, y desde entonces es el ejemplo más famoso de lo que se conoce como paradoja de Simpson.

La paradoja de Simpson ocurre cuando una tendencia que aparece en cada uno de varios grupos desaparece o se invierte al juntar los grupos. Recibe su nombre del estadístico británico Edward Simpson, que la describió en 1951, aunque otros, como George Udny Yule, la habían señalado medio siglo antes. Simpson, por cierto, había pasado la guerra en Bletchley Park descifrando códigos.

Un ejemplo médico la hace aún más clara. En 1986, un grupo de urólogos británicos comparó dos tratamientos para los cálculos de riñón: la cirugía abierta tradicional y una técnica nueva menos invasiva, que perforaba la piel con un tubo fino. En total, la técnica nueva tenía éxito en el 83 por ciento de los pacientes y la cirugía abierta en el 78. Parecía claro que la nueva era mejor. Pero al separar a los pacientes según el tamaño de la piedra, el resultado se daba la vuelta. Con piedras pequeñas, la cirugía abierta acertaba en el 93 por ciento de los casos y la nueva técnica, en el 87. Con piedras grandes, la cirugía abierta acertaba en el 73 por ciento y la nueva, en el 69. La cirugía abierta era mejor con las piedras pequeñas y mejor con las grandes, y sin embargo era peor en total.

El truco, igual que en Berkeley, está en cómo se repartían los pacientes. Los médicos tendían a usar la cirugía abierta, más agresiva, para los casos difíciles, las piedras grandes, y la técnica nueva para los fáciles, las piedras pequeñas. Las piedras grandes tienen peor pronóstico con cualquier tratamiento. Así que la cirugía abierta cargaba con la mayoría de los casos difíciles, y su tasa total salía hundida por ellos, no porque fuera peor. El tamaño de la piedra era una tercera variable que influía a la vez en qué tratamiento se elegía y en cómo salía, lo que los estadísticos llaman una variable de confusión.

Entonces, ¿qué hay que creer, los datos juntos o los datos separados? La tentación es responder que siempre los separados, porque son más detallados. Pero no es tan sencillo, y esa es la lección profunda de la paradoja. La respuesta depende de cómo funcionan las cosas, no de los números. En los dos ejemplos anteriores hay que separar, porque el tamaño de la piedra y el departamento existían antes de la decisión y la condicionaban. Pero imagina otro caso: un medicamento que baja la tensión arterial y, a través de eso, reduce los infartos. Si separas a los pacientes por la tensión que tienen después de tomarlo, estás eliminando justo el camino por el que funciona, y puedes concluir que no sirve para nada. Ahí hay que mirar los datos juntos. El informático Judea Pearl, premio Turing, ha dedicado buena parte de su carrera a explicar que estas preguntas no se resuelven con más datos, sino con un modelo de qué causa qué.

La paradoja de Simpson aparece en sitios muy variados. En el deporte, un jugador puede tener mejor porcentaje de acierto que otro en cada una de dos temporadas y peor en el total de las dos, si jugó muchos más partidos en su temporada mala. En la economía, el sueldo medio de un país puede bajar aunque suba en todos los sectores, si mucha gente pasa de sectores bien pagados a otros peor pagados. En la medicina, un hospital puede tener más mortalidad que otro y ser mejor en cada tipo de paciente, porque recibe los casos más graves. Cada vez que se comparan dos grupos que no son iguales en su composición, la paradoja acecha.

Este capítulo cierra el bloque dedicado a las trampas de los datos, y resume en cierto modo todo lo anterior. Desde John Graunt y sus tablas de mortalidad hasta los aviones de Abraham Wald, la estadística enseña una y otra vez lo mismo: los números no hablan solos. Hay que preguntarse de dónde vienen, qué falta, cómo se han agrupado y qué hay detrás de ellos. Con esas preguntas en la mochila, el itinerario continúa con las herramientas que permiten pasar de unos pocos datos a una conclusión fiable, empezando por la ley de los grandes números.

La ley de los grandes números (en inglés, law of large numbers) dice que la media de muchas repeticiones independientes de un mismo experimento se acerca a su valor esperado a medida que crece el número de repeticiones. Si una moneda tiene la misma probabilidad de salir cara que cruz, la proporción de caras en diez lanzamientos puede ser cualquier cosa entre el cero y el uno, en mil rara vez sale de la franja entre el 47 y el 53 por ciento, y en un millón no se separa del 50 más que unas décimas. Es el resultado que convierte la probabilidad, que habla de lo que puede pasar en un caso, en frecuencia, que es lo que se observa cuando los casos se acumulan, y sin él no existirían ni las encuestas ni los seguros ni la inferencia estadística entera.

La figura lanza cinco series a la vez. Cada línea es la proporción de aciertos acumulada de una serie, y la franja naranja marca dos errores típicos alrededor de la probabilidad verdadera, que es donde deberían caer casi todas las series en cada momento. Al principio las cinco líneas saltan de un extremo a otro; hacia los cien lanzamientos ya van juntas, y a los diez mil son casi una sola raya pegada a la probabilidad. La tabla de debajo cuenta otra historia, que es la mitad de la ley que casi nadie aprende.

La columna del desvío resta, en cada serie, los aciertos obtenidos menos los que tocarían según la probabilidad. Tras diez lanzamientos de moneda, lo normal es ir una o dos caras por encima o por debajo de cinco. Tras diez mil, lo normal es ir unas cuarenta por encima o por debajo de cinco mil, y ese desvío absoluto no deja de crecer: aumenta con la raíz cuadrada del número de lanzamientos. La proporción se acerca a la mitad a pesar de ello, porque cuarenta caras de más sobre diez mil son un 0,4 por ciento y sobre un millón serían, con un desvío típico de quinientas, un 0,05. La ley no dice que las caras y las cruces acaben igualadas. Dice que su diferencia crece más despacio que el total.

Esa distinción es la que separa la ley de su caricatura, la falacia del jugador (gambler’s fallacy): la creencia de que, después de una racha de rojos en la ruleta, el negro «se debe» y es más probable. La ruleta no tiene memoria y cada tirada es independiente de las anteriores, así que la probabilidad del negro sigue siendo la misma después de veinte rojos que después de ninguno. El caso más citado ocurrió en el casino de Montecarlo el 18 de agosto de 1913, cuando el negro salió veintiséis veces seguidas y los jugadores perdieron fortunas apostando al rojo a partir de la décima o la decimoquinta. Lo que la ley promete es que esa racha acabará pesando poco en la proporción de dentro de un millón de tiradas, porque quedará sumergida entre las demás, no que la ruleta vaya a devolver lo que se llevó.

Amos Tversky y Daniel Kahneman dieron nombre en 1971 a una versión más sutil del mismo error, que encontraron en psicólogos profesionales: la creencia en la ley de los pequeños números (belief in the law of small numbers). Consiste en esperar que una muestra pequeña se parezca a la población tanto como una grande, y lleva a sobrevalorar resultados obtenidos con pocos casos, a esperar que una réplica salga igual que el original y a buscar explicaciones para desviaciones que son puro ruido. La ley de los grandes números es, precisamente, una ley de números grandes, y no dice nada de cuánto se parece a la probabilidad una muestra de veinte.

La primera demostración es de Jakob Bernoulli, que trabajó en ella unos veinte años y la llamó su teorema áureo. Se publicó en 1713, ocho años después de su muerte, en la cuarta parte del Ars Conjectandi, y lo que demuestra es que, con una urna de proporción conocida, la probabilidad de que la frecuencia observada se aleje de esa proporción más de un margen fijado tiende a cero con el número de extracciones. Bernoulli quiso además dar una cifra y calculó que, con una urna de tres bolas blancas por cada dos negras, hacían falta 25.550 extracciones para tener una certeza de mil contra uno de que la frecuencia quedaba a menos de una quincuagésima de la verdadera. La cota era muy pesimista, y los cálculos posteriores con la distribución normal la redujeron a unos pocos miles, pero hay historiadores, como Stephen Stigler, que ven en aquel número desalentador una de las razones por las que Bernoulli dejó el libro sin terminar. El nombre de ley de los grandes números se lo puso Siméon Denis Poisson en 1837, en un tratado sobre la probabilidad de que los jurados acierten.

Lo que Bernoulli demostró se llama hoy ley débil (weak law): para cualquier margen, la probabilidad de estar fuera de él tiende a cero. La ley fuerte (strong law), que Émile Borel demostró para las monedas en 1909 y Andréi Kolmogórov generalizó en los años treinta, dice algo más exigente: que con probabilidad uno, la sucesión entera de proporciones converge al valor esperado, de modo que las series que se desvían para siempre, aunque existan en teoría, tienen probabilidad nula. En la figura se ve la diferencia sin fórmulas: la ley débil habla de dónde está cada serie en un momento dado, y la fuerte, de la trayectoria completa de cada línea.

Mientras tanto, hubo quien lo comprobó a mano. El conde de Buffon lanzó una 4.040 veces en el siglo XVIII y obtuvo 2.048 caras. Karl Pearson llegó a 24.000 lanzamientos con 12.012 caras. El más célebre lo hizo John Kerrich, profesor de matemáticas en Johannesburgo, que estaba de visita en Copenhague cuando Alemania invadió Dinamarca en 1940 y pasó la guerra internado en un campo de Jutlandia. Allí, con un compañero de encierro, lanzó una moneda diez mil veces y anotó cada resultado. Obtuvo 5.067 caras, un desvío de 67 sobre lo esperado y una proporción de 0,5067, y publicó en 1946 las tablas completas junto con las curvas de la proporción acumulada, que tienen exactamente la forma de las de la figura.

La ley tiene condiciones, y la principal es que el valor esperado exista. Hay distribuciones que no lo tienen, como la de Cauchy, que es la del punto donde cae sobre una pared la luz de una linterna apuntada en una dirección al azar: sus colas son tan pesadas que un solo valor extremo puede mover la media de cualquier muestra, y la media de un millón de observaciones no es más estable que una sola. Con colas menos extremas, como las de la distribución de Pareto que describe las fortunas, la media converge, pero tan despacio que en la práctica la de una muestra depende sobre todo de si ha entrado en ella algún multimillonario. La otra condición es la independencia, o algo parecido: si los casos se contagian unos a otros, como las opiniones en una red o las quiebras en una crisis, la ley no garantiza nada.

Donde se cumple, es el cimiento de negocios enteros. Una aseguradora no sabe qué casa se va a quemar, pero con cien mil pólizas sabe con bastante precisión cuántas, y cobra en consecuencia. Un casino no sabe quién va a ganar esta noche, pero con la ventaja del cero en la ruleta, 1/37 de cada apuesta, sabe cuánto ganará en un año. Una encuesta con mil entrevistas acierta la proporción de votantes con un margen de unos tres puntos por la misma razón, siempre que las entrevistas sean una muestra al azar, que es donde suelen fallar, como explica el artículo sobre la encuesta electoral. La ley de los grandes números dice a qué valor se acerca la media; el teorema central del límite completa el cuadro diciendo con qué forma se reparten sus fluctuaciones alrededor de ese valor, que es la forma de campana que dibuja la franja naranja.

El método de Montecarlo

El teorema central del límite afirma que, si se toman muchas muestras del mismo tamaño de una población cualquiera y se calcula la media de cada una, esas medias se distribuyen aproximadamente como una campana de Gauss, con independencia de la forma que tuviera la población de partida. La aproximación mejora al crecer el tamaño de la muestra, y la anchura de la campana se estrecha en proporción a la raíz cuadrada de ese tamaño. Es el resultado que permite que casi toda la estadística aplicada funcione: intervalos de confianza, contrastes de hipótesis y márgenes de error de las encuestas descansan en él, y por eso se le llama central, en el sentido de «que ocupa el centro», no en el de que hable de centros.

La afirmación es menos intuitiva de lo que parece cuando se enuncia en abstracto, y por eso conviene verla ocurrir. En la figura se elige una población deliberadamente poco gaussiana —una exponencial, con toda su masa pegada al cero y una cola larga a la derecha; una distribución con dos picos y nada en medio; un dado, que solo puede dar seis valores— y se extraen de ella muestras del tamaño que se quiera. Cada muestra aparece como una hilera de puntos sobre la población, su media se marca en naranja, y esa media cae al histograma de abajo. Con una sola muestra el histograma no dice nada. Con cien empieza a insinuarse una forma. Con mil, la campana está ahí, centrada exactamente en la media de la población, aunque la población no se le parezca en nada.

Dos cosas se aprecian en el simulador que la fórmula esconde. La primera es que con tamaño de muestra 1 no ocurre nada: las «medias» son los propios valores, y el histograma reproduce la forma de la población, sesgo incluido. La campana no está en los datos, está en el promedio. La segunda es que la velocidad a la que aparece depende de lo asimétrica que sea la población de partida. Con la uniforme, cinco valores por muestra bastan para que la forma sea razonablemente gaussiana; con la exponencial hacen falta veinte o treinta, y con una renta de cola muy larga la cola derecha del histograma sigue siendo visible bastante después. La regla práctica que enseñan los manuales —«a partir de treinta observaciones se puede suponer normalidad»— no es un teorema sino una observación empírica sobre poblaciones moderadamente sesgadas, y el simulador permite ver dónde falla.

La historia del resultado es larga porque tardó en enunciarse con generalidad. Abraham de Moivre publicó en 1733 que el número de caras al lanzar muchas monedas se aproxima con la curva que hoy llamamos normal; era un caso particular, el de sumar variables que solo valen cero o uno. Pierre-Simon Laplace extendió el argumento en 1810 a sumas de variables de casi cualquier tipo y lo aplicó a los errores de medida astronómicos, que era el problema que le interesaba: si cada observación de un planeta arrastra un error compuesto de muchas causas pequeñas e independientes, la suma de esas causas es aproximadamente normal, y por tanto el error también. Las demostraciones rigurosas, con condiciones explícitas sobre las variables, llegaron con Aleksandr Liapunov en 1901 y con Jarl Lindeberg y Paul Lévy en los años veinte. El nombre lo puso George Pólya en 1920, en un artículo escrito en alemán, y su elección del adjetivo zentral se refería a la posición del teorema dentro de la teoría de la probabilidad.

El enunciado moderno tiene tres condiciones y conviene conocerlas porque cada una puede fallar en la práctica. Las observaciones tienen que ser independientes, o al menos no demasiado dependientes; deben proceder de la misma distribución, o de distribuciones parecidas; y esa distribución debe tener varianza finita. La tercera es la que más sorprende: existen distribuciones, como la de Cauchy, cuya cola es tan pesada que ni siquiera tienen media definida, y para ellas el teorema simplemente no se cumple. La media de mil observaciones de Cauchy es tan errática como una sola. En economía y finanzas, donde los rendimientos extremos son más frecuentes de lo que una normal admitiría, esta condición es motivo de discusión permanente desde que Benoit Mandelbrot la planteó en los años sesenta.

El teorema también dice cuánto se estrecha la campana, y ese detalle es el que sostiene las encuestas. La desviación típica de las medias muestrales es la de la población dividida por la raíz cuadrada del tamaño de muestra. Para reducir el error a la mitad hay que cuadruplicar la muestra; para reducirlo a la décima parte, multiplicarla por cien. Es la razón de que un sondeo de mil personas tenga un margen de error de unos tres puntos y de que pasar a diez mil personas solo lo baje a uno: el rendimiento decreciente está escrito en la raíz cuadrada. En la figura, al aumentar el tamaño de muestra de 5 a 20 el histograma se estrecha justo a la mitad, y la lectura compara la dispersión observada con la que predice la fórmula.

Andrew Berry en 1941 y Carl-Gustav Esseen en 1942 respondieron, por separado, a la pregunta natural de cómo de buena es la aproximación para un tamaño de muestra dado. Su cota dice que la distancia máxima entre la distribución real de la media y la normal está acotada por una constante multiplicada por una medida de la asimetría de la población y dividida por la raíz del tamaño de muestra. Es el enunciado preciso de lo que el simulador muestra a ojo: la campana llega antes cuanto más simétrica sea la población y cuanto mayor sea la muestra, y la relación entre ambas cosas es exactamente la raíz cuadrada.

Lo que el teorema no dice es igualmente importante. No afirma que los datos individuales de ninguna población sean normales, ni que muchos fenómenos naturales lo sean; afirma algo sobre los promedios de muestras. Las alturas humanas se aproximan a una normal porque cada altura es, en efecto, la suma de muchas contribuciones pequeñas, pero las rentas, los tamaños de las ciudades o la frecuencia de las palabras no lo son ni lo serán por mucho que se mida. Confundir «las medias de las muestras son normales» con «los datos son normales» es un error frecuente, y el simulador lo desmonta con solo mirar las dos gráficas a la vez: la de arriba, la población, no cambia nunca de forma; la de abajo, las medias, se vuelve campana sea cual sea la de arriba.

La ley de los grandes números – Distribución normal

El intervalo de confianza es un rango de valores calculado a partir de una muestra con un procedimiento que, repetido muchas veces sobre muestras distintas de la misma población, produce rangos que contienen el valor real de la población en un porcentaje conocido de los casos. Ese porcentaje es el nivel de confianza, habitualmente el 95 %, y la definición está enunciada a propósito en términos del procedimiento y no del resultado. La formuló Jerzy Neyman en 1937 y su cuidado en la redacción no es un tecnicismo: es lo único que distingue el intervalo de confianza de lo que casi todo el mundo cree que significa.

Lo que la gente entiende al leer que un intervalo del 95 % va de 38 a 44 es que hay un 95 % de probabilidad de que el valor verdadero esté entre 38 y 44. Esa frase es incorrecta dentro del marco en el que el intervalo se calcula. En la estadística frecuentista, el parámetro de la población es una cantidad fija y desconocida, no una variable aleatoria: no tiene sentido asignarle una probabilidad de estar en ningún sitio. Lo aleatorio es la muestra, y por tanto lo aleatorio es el intervalo. Una vez calculado un intervalo concreto, ese intervalo contiene el valor o no lo contiene, y no hay ninguna probabilidad intermedia. El 95 % describe el comportamiento del método a lo largo de muchas repeticiones, no la credibilidad de un resultado particular. Quien quiera una afirmación probabilística sobre el parámetro tiene que salir del marco y calcular un intervalo de credibilidad bayesiano, que exige declarar una distribución previa y que, en muchos casos con muestras grandes, sale numéricamente parecido pero significa otra cosa.

Que la confusión es la regla y no la excepción está medido. Rink Hoekstra y sus colaboradores presentaron en 2014 a ciento veinte investigadores y cuatrocientos cuarenta y dos estudiantes de psicología un resultado con su intervalo de confianza y seis afirmaciones sobre él, todas falsas, y les pidieron marcar las que consideraran correctas. Los estudiantes de primer año marcaron una media de 3,5 afirmaciones falsas; los investigadores con experiencia, 3,4. No hubo mejora con la formación. Sander Greenland y un grupo de veinticuatro estadísticos y epidemiólogos publicaron en 2016 un inventario de veinticinco malinterpretaciones habituales del valor p, los intervalos y la potencia, y entre ellas figuran las dos que más se ven en la prensa: creer que un valor fuera del intervalo queda descartado, y creer que dos intervalos que se solapan indican que no hay diferencia.

La segunda cosa que el intervalo no dice es más importante para leer una encuesta, y es la que arruina el uso periodístico del «margen de error». El intervalo de confianza solo cuantifica una fuente de incertidumbre: el error de muestreo, es decir, la variabilidad que resulta de haber preguntado a mil personas y no a todas. No cuantifica el sesgo. Si la muestra no representa a la población —porque quien contesta al teléfono no es como quien no contesta, porque el marco de la muestra excluye a una parte del país, porque la pregunta está mal redactada, porque el modelo de ponderación reparte mal los pesos—, el intervalo se calcula igual, sale igual de estrecho y está centrado en el sitio equivocado. Un error de muestreo pequeño alrededor de una estimación sesgada produce exactamente la falsa sensación de precisión que la cifra pretende evitar.

La magnitud de ese hueco se ha estimado. Houshmand Shirani-Mehr, David Rothschild, Sharad Goel y Andrew Gelman analizaron en 2018 cuatro mil doscientas veintiuna encuestas de elecciones estadounidenses de gobernador, senador y presidente entre 1998 y 2014, y compararon las estimaciones con los resultados. El error medio real fue de unos tres puntos y medio, prácticamente el doble del error de muestreo que las encuestas declaraban; y solo alrededor del 60 % de sus intervalos del 95 % contenía el resultado, cuando por definición del método debería haberlo hecho el 95 %. La conclusión de los autores es que un intervalo honesto para una encuesta electoral tendría que ser aproximadamente el doble de ancho del que se publica, porque el resto lo aporta el sesgo y no la aritmética.

De ahí se sigue una manera correcta de leer los intervalos que aparecen en las noticias, y son tres reglas. La primera: la anchura del intervalo informa de la precisión del procedimiento, y si un intervalo es muy ancho la conclusión honrada es que el estudio no permite decidir, no que el efecto sea cero. La segunda: la diferencia entre dos grupos necesita su propio intervalo, y no se puede deducir comparando a ojo si los intervalos de cada grupo se solapan; ese atajo produce falsos negativos con mucha frecuencia. La tercera: el intervalo solo es tan bueno como el diseño del muestreo que lo sostiene, y cuando lo que falla es el diseño, el intervalo no avisa.

Conviene añadir la objeción que la propia comunidad estadística ha ido aceptando. Durante décadas se recomendó sustituir el contraste de hipótesis por intervalos de confianza, con el argumento de que el intervalo informa del tamaño del efecto y de su precisión mientras el valor p solo produce un veredicto. La recomendación sigue siendo buena, pero no resuelve el problema que decía resolver: en la práctica, un intervalo se lee comprobando si contiene el cero, es decir, se convierte en un contraste de hipótesis con otra tipografía. La ganancia de los intervalos es real solo si quien los lee atiende a los dos extremos y se pregunta si el valor más pequeño compatible con los datos sería importante y si el más grande sería creíble. Sin esa lectura, el intervalo es una prueba de significación disfrazada de estimación.

La encuesta electoral y por qué falla – El valor p y la significación estadística

El valor p es la probabilidad de obtener un resultado al menos tan extremo como el observado suponiendo que la hipótesis nula sea cierta y que el modelo estadístico empleado sea correcto. Cuando ese número queda por debajo de un umbral convenido —tradicionalmente 0,05— el resultado se declara estadísticamente significativo. La definición contiene dos condicionales que son los que se pierden en cada resumen periodístico, y de esa pérdida sale casi todo lo que se hace mal con la cifra.

Lo primero que hay que quitar de la cabeza es la lectura invertida. El valor p es la probabilidad de los datos dada la hipótesis, no la probabilidad de la hipótesis dados los datos. Un p de 0,03 no significa que haya un 3 % de probabilidad de que el resultado sea casualidad, ni un 97 % de que el efecto exista. Tampoco mide la importancia del efecto: con una muestra suficientemente grande, una diferencia irrelevante para cualquier propósito práctico produce valores p diminutos, y con una muestra pequeña un efecto grande y real puede quedarse en 0,2. Y un valor p por encima del umbral no demuestra que no haya efecto; demuestra que estos datos no bastan para distinguirlo del ruido, que es una afirmación mucho más modesta.

El umbral de 0,05 no tiene ninguna base teórica. Lo propuso Ronald Fisher en 1925 como una convención de conveniencia —observó que un desvío de dos veces la desviación típica es un punto cómodo para juzgar si un resultado merece atención— y él mismo entendía el valor p como una medida continua de evidencia dentro de un programa de experimentación repetida, no como un botón de aprobación. La conversión del criterio en un umbral binario y en un requisito de publicación vino después, con la fusión práctica del enfoque de Fisher y el contraste de hipótesis de Neyman y Pearson, y produjo el incentivo que ha marcado un siglo de literatura científica: los resultados por debajo de 0,05 se publican y los demás se quedan en el cajón.

Ese incentivo tiene consecuencias medibles. John Ioannidis argumentó en 2005, con un modelo explícito, que en campos con muchas hipótesis exploradas, muestras pequeñas y efectos reales pequeños, la mayor parte de los hallazgos publicados como significativos tienen que ser falsos, porque la probabilidad de que una hipótesis sea verdadera antes del estudio es baja y el umbral admite un 5 % de falsos positivos por cada hipótesis probada. Joseph Simmons, Leif Nelson y Uri Simonsohn lo demostraron por construcción en 2011: mostraron que con la flexibilidad no declarada que cualquier investigador tiene a mano —decidir cuándo parar de recoger datos, elegir entre dos variables dependientes, incluir o no una covariable, excluir observaciones atípicas— la probabilidad de obtener un resultado significativo a partir de datos sin ninguna señal sube del 5 % a más del 60 %. A esa práctica, que rara vez es un fraude deliberado y casi siempre una serie de decisiones razonables tomadas después de ver los datos, se le llama p-hacking.

La comprobación empírica llegó en 2015, cuando la Open Science Collaboration replicó cien estudios publicados en tres revistas de psicología de primer nivel con protocolos acordados de antemano y muestras mayores que las originales. De los noventa y siete que habían informado de resultados significativos, treinta y cinco volvieron a serlo, y el tamaño medio de los efectos replicados fue aproximadamente la mitad del original. Resultados semejantes aparecieron después en economía experimental y en biología del cáncer. La discusión sobre la magnitud exacta de la crisis de replicación sigue abierta —hay quien defiende que una parte del fallo se explica por diferencias de contexto entre el estudio original y la réplica—, pero el hecho de que el umbral de significación no protege de los falsos positivos con la eficacia que se le atribuía ya no se discute.

En 2016, la American Statistical Association hizo algo insólito para una sociedad científica: publicó una declaración formal sobre un procedimiento estadístico. Seis principios, y ninguno de ellos técnico. Que los valores p no miden la probabilidad de que la hipótesis estudiada sea cierta. Que no deben ser la base de decisiones científicas o de política tomadas por un umbral. Que un valor p sin contexto ni otras evidencias aporta información limitada. Que la inferencia adecuada exige informar de todo el proceso —cuántas hipótesis se probaron, qué decisiones de análisis se tomaron— porque sin eso el número no es interpretable. Y que la significación estadística no equivale a importancia. Tres años después, un comentario en Nature firmado por Valentin Amrhein, Sander Greenland y Blake McShane y respaldado por más de ochocientos firmantes pidió abandonar el concepto de significación estadística; la revista Basic and Applied Social Psychology había ido más lejos en 2015 prohibiendo directamente los valores p en sus artículos.

Conviene, sin embargo, no quedarse con la moraleja de que el valor p es una superstición que hay que retirar, porque las alternativas tienen sus propios problemas. Sustituirlo por umbrales más exigentes —se ha propuesto 0,005— reduce los falsos positivos a costa de exigir muestras mucho mayores y de dejar fuera campos donde eso es imposible. Sustituirlo por intervalos de confianza no cambia nada si el intervalo se lee comprobando si contiene el cero, que es lo que ocurre en la práctica. Sustituirlo por factores de Bayes obliga a declarar una distribución previa que otro investigador puede discutir. La crítica sólida del valor p no es que la fórmula esté mal, es que un número que resume la compatibilidad de unos datos con un modelo se estaba usando para tomar una decisión dicotómica sobre la existencia de un fenómeno. Lo que la estadística ha ido concluyendo desde 2005 es que ninguna cifra individual puede hacer ese trabajo, y que lo que lo hace es el tamaño del efecto, la preinscripción del análisis, la publicación de los resultados nulos y la réplica.

El intervalo de confianza – La potencia estadística – Nivel de significación – Las comparaciones múltiples

La potencia estadística (en inglés, statistical power) es la probabilidad de que un estudio detecte un efecto que existe de verdad. Si un fármaco reduce la tensión arterial y se prueba en un ensayo, la potencia es la probabilidad de que el ensayo salga estadísticamente significativo, y su complemento es la probabilidad de que el efecto real pase inadvertido. Depende de tres cosas: el tamaño del efecto, el número de personas estudiadas y el umbral de significación que se haya elegido. Un efecto grande se ve con pocos datos; uno pequeño exige muchos, y con pocos, el estudio es una moneda al aire que además, como se verá, cuando sale cara engaña.

La figura muestra de dónde sale la cifra. Un estudio compara dos grupos y mide la diferencia entre sus medias en desviaciones típicas, que es lo que se llama tamaño del efecto d. Si el efecto no existe, la diferencia que mediría el estudio se reparte según la campana gris, centrada en cero; si existe, según la naranja, centrada en el valor real. Las rayas verticales son los umbrales de significación, y todo lo que cae más allá se declara significativo. El área gris fuera de los umbrales es α, la probabilidad de una falsa alarma. El área naranja más allá del umbral es la potencia.

Las dos curvas se estrechan al aumentar la muestra, porque el error típico de la diferencia baja con la raíz del número de personas. Con curvas estrechas se separan, la naranja deja casi toda su área más allá del umbral y la potencia se acerca a uno. Con curvas anchas se solapan, y buena parte de los estudios de un efecto real cae en la zona donde no se distingue del ruido. El cálculo al revés da el tamaño de muestra necesario. Para detectar con un 80 por ciento de potencia un efecto medio, de medio punto de desviación típica, hacen falta unas 64 personas por grupo; para uno pequeño, de 0,2, unas 400; para uno de 0,1, que es del orden de muchos efectos reales en psicología, educación o nutrición, más de 1.500 por grupo.

El concepto nació con el contraste de hipótesis. Jerzy Neyman y Egon Pearson formalizaron en 1933 los dos errores que puede cometer una decisión estadística: rechazar la hipótesis nula cuando es cierta, que llamaron error de primera especie (type I error), y no rechazarla cuando es falsa, el error de segunda especie (type II error). Ronald Fisher, que había inventado el valor p unos años antes, solo se ocupaba del primero, y rechazó la idea con dureza durante el resto de su vida, pero la práctica se quedó con los dos. La probabilidad del error de primera especie es α, que se fija de antemano en 0,05. La del error de segunda especie se llama β, y la potencia es 1 − β. Lo que se convirtió en costumbre fue vigilar α con celo y olvidarse de β.

Jacob Cohen fue el primero en medir el olvido. En 1962 revisó los setenta artículos publicados en 1960 en el Journal of Abnormal and Social Psychology y calculó qué potencia tenían para detectar efectos pequeños, medianos y grandes. Para los medianos, que son los que un investigador suele esperar, la potencia media era de 0,48: en promedio, los estudios de la revista tenían menos probabilidades de encontrar un efecto real de tamaño razonable que de no encontrarlo. Cohen propuso que se calculara el tamaño de muestra antes de empezar y fijó las convenciones de 0,2, 0,5 y 0,8 para un efecto pequeño, mediano y grande, que se siguen usando. Veinticuatro años después, Peter Sedlmeier y Gerd Gigerenzer repitieron el análisis sobre su sucesora, el Journal of Abnormal Psychology, y publicaron el resultado en 1989 con un título que era una pregunta: ¿tienen algún efecto los estudios sobre la potencia en la potencia de los estudios? La respuesta era que no. La potencia no había subido.

En 2013, Katherine Button, John Ioannidis, Marcus Munafò y otros cuatro autores hicieron el cálculo para la neurociencia a partir de cuarenta y nueve metaanálisis, y estimaron una potencia mediana del 21 por ciento, que es la que aparece con los valores de partida de la figura. Lo que dieron a conocer no fue solo que se escapaban la mayoría de los efectos reales, sino una consecuencia menos obvia. Si la potencia es baja, una proporción mayor de los resultados significativos son falsas alarmas, porque los aciertos escasean y las falsas alarmas se mantienen en el 5 por ciento. Y los aciertos que se obtienen exageran el efecto.

La figura permite ver esa exageración pulsando «Hacer 200 estudios». Con un efecto real de 0,3 y treinta personas por grupo, los estudios miden efectos que van de −0,2 a 0,8, y solo los que caen más allá del umbral, en torno a 0,5, salen significativos. Pero esos son precisamente los que tuvieron suerte y midieron un efecto mayor que el real, así que el efecto medio de los estudios significativos queda en torno a 0,65, más del doble de la verdad. Andrew Gelman y John Carlin llamaron a esto error de tipo M, de magnitud, y señalaron uno peor, el error de tipo S, de signo: con potencia muy baja, una fracción apreciable de los estudios significativos encuentra un efecto en la dirección contraria a la real. A esa exageración se le llama también la maldición del ganador (winner’s curse), por analogía con las subastas, donde quien gana es, casi por definición, quien más había sobrevalorado lo subastado.

La maldición explica un patrón que se repite en muchas disciplinas: el primer estudio de un efecto encuentra una cifra espectacular, las réplicas encuentran efectos cada vez menores y el entusiasmo inicial se desvanece. Como los estudios pequeños solo se publican cuando salen significativos y solo salen significativos cuando exageran, la literatura publicada es una muestra sesgada hacia los efectos grandes. Cuando la Open Science Collaboration replicó cien estudios de psicología en 2015 con muestras mayores, el tamaño medio de los efectos se quedó en la mitad del original, que es aproximadamente lo que la potencia de los originales hacía esperar. Casos como el de las posturas de poder o el del agotamiento del ego siguieron ese camino.

Lo que se deduce de todo esto va contra la intuición de quien lee un estudio. Un resultado significativo con una muestra pequeña no es más impresionante por haber superado el umbral con pocos datos, sino más sospechoso, porque para superarlo ha tenido que medir un efecto grande, y los efectos grandes escasean. La respuesta de la estadística ha sido la que proponía Cohen en 1962: calcular la potencia antes de recoger los datos, a partir de una estimación honrada del efecto que cabe esperar, y registrar el diseño de antemano para que nadie pueda ajustarlo después. En los ensayos clínicos es obligatorio desde hace décadas. En buena parte de las ciencias sociales, sesenta años después del artículo de Cohen, la costumbre sigue siendo decidir el tamaño de la muestra por lo que cabe en el presupuesto y enterarse de la potencia, si acaso, cuando ya no tiene remedio.

Las comparaciones múltiples

El bootstrap (la palabra se usa tal cual en español, y a veces se traduce por remuestreo) es una manera de medir cuánto se puede fiar uno de una cifra calculada a partir de una muestra, usando solo la propia muestra. La idea es sacar de ella, al azar y con reposición, muchas muestras nuevas del mismo tamaño, calcular la cifra en cada una y mirar cuánto varía. Esa variación imita la que se vería si se pudiera volver a muestrear la población una y otra vez, que es precisamente lo que no se puede hacer. El nombre viene de la expresión inglesa to pull oneself up by one’s bootstraps, levantarse tirando de los cordones de las propias botas, que se suele asociar con el barón de Münchhausen, aunque en el libro él se saca del pantano tirando de su propia coleta, y que describe algo que parece imposible: sacar información sobre la incertidumbre de unos datos sin más material que esos mismos datos.

La figura usa el ejemplo con el que Bradley Efron y Robert Tibshirani enseñan el método en su manual de 1993. Son quince facultades de derecho de Estados Unidos, elegidas al azar entre las ochenta y dos que participaron en un estudio sobre admisiones, con dos notas por facultad: la media de su examen de acceso, el LSAT, y la media de las calificaciones del grado de sus alumnos, el GPA. La correlación entre las dos es de 0,776, y la pregunta es cuánto habría cambiado si el azar hubiera elegido otras quince.

Al pulsar «Una remuestra» se ve el mecanismo. Se sacan quince facultades de la bolsa de quince, devolviendo cada una a la bolsa antes de sacar la siguiente, de modo que algunas salen repetidas y otras no salen. Por término medio, cada remuestra deja fuera algo más de un tercio de los datos originales y ocupa ese hueco con repeticiones. Con cada remuestra se calcula de nuevo la correlación, que sale 0,69, 0,85, 0,61, y el histograma va recogiendo esos valores. Con mil remuestras, su desviación típica anda por 0,13, y esa cifra es el error típico de la correlación según el bootstrap. El intervalo que deja fuera el 2,5 por ciento más bajo y el 2,5 por ciento más alto va aproximadamente de 0,46 a 0,96, y es un intervalo de confianza al 95 por ciento conseguido sin una sola fórmula.

Hay una razón para que sea tan útil precisamente con la correlación. Para la media existe una fórmula sencilla del error típico, la desviación típica dividida por la raíz de n, y el bootstrap se limita a reproducirla, como se ve eligiendo la media en el desplegable. Para la correlación, la fórmula clásica supone que los datos siguen una distribución normal en dos dimensiones, y con quince datos nadie puede comprobarlo. Para la mediana, la fórmula existe pero depende de la densidad de la población justo en el centro, que tampoco se conoce. Y para cosas como el cociente entre dos medianas, el coeficiente de una regresión robusta o la precisión de un modelo de aprendizaje automático medida sobre un conjunto de prueba, no hay fórmula que valga. El bootstrap trata a todas igual: se calcula la cifra, se remuestrea, se vuelve a calcular. Lo que antes exigía una derivación matemática para cada estadístico pasa a exigir solo tiempo de ordenador.

La razón por la que funciona es que la muestra, si se ha tomado al azar, es la mejor estimación disponible de la población. Remuestrear la muestra equivale a tratarla como si fuera la población y a preguntarse qué pasaría si de esa población se sacaran muestras de quince. Si la muestra se parece a la población, la variación entre remuestras se parece a la variación entre muestras. La justificación rigurosa, que Efron dio en 1979 y que se afinó durante la década siguiente, demuestra que para una clase amplia de estadísticos la aproximación mejora al crecer la muestra, y que en algunos casos es incluso más precisa que la aproximación normal clásica.

El método tenía un antecedente. En 1949, Maurice Quenouille propuso corregir el sesgo de un estimador recalculándolo quitando cada vez un dato, y en 1958 John Tukey convirtió esa idea en un método para estimar errores típicos y le puso nombre de herramienta: la navaja (jackknife), por ser algo tosco que sirve para casi todo. Efron presentó el bootstrap en 1979, en un artículo de The Annals of Statistics cuyo subtítulo, otra mirada a la navaja, reconocía la deuda, y demostró que la navaja era una aproximación lineal al bootstrap. El método tardó en imponerse porque exigía una potencia de cálculo que a finales de los setenta no estaba al alcance de cualquiera: mil remuestras de un conjunto de datos mediano eran una noche entera de ordenador central. Con los ordenadores personales se volvió trivial, y en 2019 Efron recibió por él el Premio Internacional de Estadística, que se concede cada dos años a una contribución que haya cambiado la disciplina.

El bootstrap no es una varita mágica, y hay casos en los que falla de manera instructiva. El más claro es el máximo. Si se quiere estimar el valor más alto posible de una población a partir del mayor valor observado, el bootstrap no sirve, porque ninguna remuestra puede producir un máximo mayor que el de la muestra, y alrededor de un 63 por ciento de las remuestras lo repiten exactamente. El histograma sale con una barra enorme en el máximo observado y nada a su derecha, que es justo donde está la verdad. Para ese problema hay métodos propios, que el problema del tanque alemán resolvió en la Segunda Guerra Mundial. El segundo fallo son las muestras diminutas: con cinco datos, la muestra se parece poco a la población y las remuestras heredan todos sus defectos. El tercero es la dependencia. Si los datos son una serie temporal, como las temperaturas diarias o los precios de una acción, cada observación se parece a la anterior, y remuestrearlas por separado destruye esa estructura. Hans Künsch propuso en 1989 remuestrear bloques de observaciones consecutivas en lugar de observaciones sueltas, y esa variante, el block bootstrap, es la que se usa en econometría y en climatología.

Hoy el bootstrap es el método por defecto para poner márgenes de error a cualquier cosa que no tenga una fórmula conocida. Se usa para los intervalos de los árboles filogenéticos, donde cada rama lleva el porcentaje de remuestras en que aparece; para medir la estabilidad de un agrupamiento; y, cada vez más, para comparar modelos de inteligencia artificial, donde la pregunta de si un sistema que acierta el 71 por ciento de un examen es de verdad mejor que otro que acierta el 69 se responde remuestreando las preguntas del examen, como explica el artículo sobre el ruido en una evaluación. También los bosques aleatorios de aprendizaje automático son bootstrap: cada árbol se entrena con una remuestra distinta de los datos, y la variedad que eso produce es lo que hace que el conjunto se equivoque menos que cualquiera de sus árboles. Lo que Efron cambió no fue solo una técnica, sino la relación de la estadística con el cálculo: donde antes había que suponer una distribución para poder derivar una fórmula, ahora basta con simular lo que habría pasado.