Imaginemos que una empresa quiere vender más.
La dirección necesita saber si el equipo comercial está trabajando suficientemente las oportunidades, así que decide introducir un indicador.
Número de llamadas.
Tiene sentido.
Si los comerciales hablan más con posibles clientes, probablemente tendrán más oportunidades de vender.
Durante los siguientes meses el número de llamadas sube.
Mucho.
El dashboard está precioso.
Todo verde.
El equipo nunca había realizado tantas llamadas.
Las ventas, en cambio, apenas se mueven.
Entonces empezamos a mirar qué está ocurriendo.
Las llamadas son más cortas.
Se llama varias veces al mismo contacto.
Aparecen conversaciones que probablemente podrían haberse resuelto con un correo.
Algunas personas han aprendido a dividir una interacción en varias llamadas porque así contabilizan más actividad.
No hace falta que nadie haya organizado una conspiración.
El equipo simplemente ha aprendido cómo funciona el marcador.
Habíamos querido aumentar las ventas.
Medimos llamadas.
Después empezamos a gestionar llamadas.
Y finalmente conseguimos exactamente eso.
Llamadas.
Este ejemplo es inventado.
El mecanismo no lo es.
Economistas, psicólogos, investigadores de políticas públicas y, más recientemente, investigadores de inteligencia artificial llevan décadas estudiando distintas versiones del mismo problema.
Creamos una medida porque la realidad es demasiado compleja para gestionarla directamente.
La medida funciona.
Entonces empezamos a utilizarla para decidir.
Después vinculamos consecuencias a ella.
Premios.
Castigos.
Presupuestos.
Prestigio.
Promociones.
Rankings.
Y algo cambia.
Las personas empiezan a adaptarse a la medida.
Las organizaciones empiezan a adaptarse.
Los sistemas empiezan a optimizarla.
Hasta que llega un momento en que podemos mejorar extraordinariamente el indicador y haber dejado de mejorar aquello que pretendíamos representar.
A veces incluso lo empeoramos.
El problema no es que la métrica fuera falsa.
El problema es que hemos olvidado que era una representación.
Necesitamos métricas porque no podemos gestionar la realidad entera
Estoy bastante obsesionado con medir cosas.
Probablemente demasiado.
Si algo se puede poner en una tabla, clasificar, relacionar o convertir en un indicador, inmediatamente parece un poco más manejable.
Facturación.
Margen.
Conversión.
Productividad.
Satisfacción.
Tiempo medio de respuesta.
Calidad.
Rendimiento.
Rentabilidad.
Aprendizaje.
Riesgo.
El problema es que muchas de esas cosas no existen como un número en el mundo.
Tenemos que construirlo.
Queremos saber si un cliente está satisfecho.
No podemos abrirle la cabeza y consultar una variable llamada satisfaccion_cliente.
Así que preguntamos.
Creamos una escala.
Calculamos un NPS.
Observamos recurrencia.
Medimos cancelaciones.
Analizamos reseñas.
Cada indicador captura algo.
Ninguno es exactamente «la satisfacción».
Lo mismo ocurre con productividad.
Calidad.
Aprendizaje.
Rendimiento de un empleado.
Éxito de una política pública.
Incluso algo aparentemente sencillo como «ventas» necesita decisiones: ¿pedido confirmado, factura emitida, cobro realizado, ingreso reconocido?
Medir es tomar una realidad que tiene demasiadas dimensiones y comprimirla hasta convertirla en algo sobre lo que podamos operar.
Eso no es un defecto.
Es precisamente para lo que sirven las métricas.
El mapa necesita ser más simple que el territorio o deja de ser un mapa.
El problema aparece después.
Cuando olvidamos qué hemos eliminado durante la compresión.
Goodhart no estaba hablando de dashboards
La idea suele resumirse mediante una frase extraordinariamente popular:
«Cuando una medida se convierte en objetivo, deja de ser una buena medida.»
La asociamos a la ley de Goodhart.
Pero la historia real es algo más interesante.
Charles Goodhart formuló originalmente su observación en el contexto de la política monetaria británica. La preocupación era que una regularidad estadística que había funcionado como indicador podía dejar de comportarse de la misma manera cuando las autoridades empezaban a utilizarla activamente como instrumento de control. La formulación original era, por tanto, más específica que la versión empresarial que repetimos hoy.
Esto cambia ligeramente la lectura.
Goodhart no estaba diciendo simplemente:
«Los KPIs son malos».
Estaba describiendo algo más profundo.
Intervenir sobre un sistema utilizando una relación observada puede modificar la propia relación que estábamos utilizando.
Antes de convertir algo en objetivo, una correlación puede contener información.
Después de convertirlo en objetivo, las personas y el sistema reaccionan.
Ya no estamos observando exactamente el mismo mundo.
Hemos entrado dentro del experimento.
Campbell llegó a un problema parecido por otro camino
Donald T. Campbell formuló a finales de los setenta una observación relacionada desde el estudio de políticas y programas sociales.
Su preocupación era que cuanto más utilizamos un indicador cuantitativo para tomar decisiones sociales importantes, mayores son las presiones para corromperlo y mayor es también el riesgo de que termine deformando los procesos que pretendía monitorizar.
Me interesa la palabra presión.
Porque evita una explicación demasiado moral.
No significa que una métrica convierta automáticamente a las personas en tramposas.
Significa que modifica el entorno.
Introduce recompensas.
Costes.
Límites.
Prioridades.
Y entonces las personas empiezan a resolver el problema que realmente tienen delante.
Una organización dice que quiere calidad.
Pero premia velocidad.
Adivina qué aumenta.
Dice que quiere colaboración.
Pero promociona individualmente según ventas.
Dice que quiere aprendizaje.
Pero evalúa mediante una prueba concreta.
Dice que quiere resolver problemas de clientes.
Pero mide número de tickets cerrados.
Las declaraciones expresan una intención.
Los incentivos expresan otra arquitectura.
Y las arquitecturas suelen ganar.
Cuando aprendemos cómo funciona el marcador
Esto no es solamente una intuición empresarial.
Pascal Courty y Gerald Marschke estudiaron un gran programa público estadounidense donde el rendimiento de los agentes estaba vinculado a incentivos explícitos.
Encontraron que algunas personas modificaban estratégicamente cómo reportaban los resultados para maximizar las recompensas asociadas al sistema de medición. Lo importante es que los investigadores no se limitaron a detectar una anomalía contable: concluyeron que ese comportamiento tenía un impacto negativo sobre el verdadero objetivo de la organización.
El indicador seguía subiendo.
El objetivo real podía empeorar.
Esto es exactamente lo que hace incómoda toda la discusión.
Porque desde dentro de un dashboard podemos estar celebrando.
El sistema funciona.
El KPI responde.
Los equipos han entendido la prioridad.
Solo necesitamos alejarnos un poco para descubrir que quizá han entendido demasiado bien la métrica y no necesariamente la intención que había detrás.
En educación la distorsión puede llegar bastante más lejos
Brian Jacob y Steven Levitt estudiaron datos de las escuelas públicas de Chicago para detectar patrones compatibles con manipulación de exámenes estandarizados por parte de profesores o administradores.
Estimaron que los casos graves podían afectar como mínimo a entre un 4% y un 5% de las aulas de primaria cada año analizado. Encontraron además que la frecuencia observada de estas conductas respondía de manera importante a cambios relativamente pequeños en los incentivos.
Es tentador convertir el resultado en una historia sobre profesores que hacen trampas.
Creo que sería perder la parte más interesante.
El estudio no demuestra que los incentivos obliguen a nadie a manipular una prueba.
Las personas siguen siendo responsables de sus decisiones.
Pero sí demuestra que cambiar las consecuencias asociadas a un indicador puede modificar el comportamiento de quienes son evaluados mediante él.
Queremos mejorar aprendizaje.
Necesitamos medirlo.
Utilizamos un examen.
Después vinculamos consecuencias al examen.
El examen deja de ser solamente un instrumento para observar el sistema.
Ahora forma parte del sistema.
Y eso cambia todo.
El NHS británico también descubrió que medir modifica aquello que medimos
Gwyn Bevan y Christopher Hood analizaron en 2006 el uso intensivo de objetivos de rendimiento dentro del sistema sanitario público inglés.
Su crítica se centraba precisamente en dos supuestos peligrosos: que una parte medible pudiera representar adecuadamente al conjunto y que los problemas de medición y gaming fueran suficientemente pequeños como para ignorarlos.
El trabajo documentó cómo los sistemas de objetivos podían producir mejoras reportadas y, al mismo tiempo, crear problemas de medición, conductas estratégicas y distorsiones.
Otra vez aparece la misma estructura.
Necesitamos gobernar algo extraordinariamente complejo.
Una organización sanitaria tiene miles de procesos, pacientes, profesionales, decisiones y resultados.
No podemos dirigirla diciendo simplemente:
«Haced una sanidad mejor.»
Necesitamos prioridades.
Objetivos.
Indicadores.
Umbrales.
El problema no está en introducirlos.
El problema está en creer que todo aquello que dejamos fuera deja también de importar.
No hace falta hacer trampas para romper una métrica
Hasta aquí podría parecer que el problema de las métricas consiste básicamente en personas intentando engañar al sistema.
No.
Esta es otra simplificación.
David Manheim y Scott Garrabrant propusieron una taxonomía bastante útil de distintos fenómenos relacionados con la ley de Goodhart.
En algunos casos aparece comportamiento estratégico.
En otros no hay nadie haciendo trampas.
La relación simplemente se rompe porque estamos optimizando demasiado un proxy imperfecto, porque llevamos el sistema hacia regiones donde la relación original ya no se cumple o porque nuestra propia intervención cambia la estructura causal.
Podemos entenderlo con algo bastante sencillo.
Supongamos que normalmente los mejores comerciales hacen más llamadas.
Observamos la relación:
más llamadas ↔ mejores resultados comerciales
Entonces concluimos:
si conseguimos aumentar las llamadas,aumentaremos las ventas.
Puede funcionar.
Hasta cierto punto.
Pero la primera relación no demuestra que cualquier llamada adicional produzca el mismo resultado.
Quizá los buenos comerciales llaman más porque tienen más oportunidades de calidad.
Quizá el mismo conjunto de habilidades hace que prospecten mejor y también llamen más.
Quizá una cantidad mínima de actividad sea necesaria pero, a partir de cierto nivel, aumentar llamadas solo produce conversaciones peores.
La métrica puede ser útil descriptivamente.
Eso no garantiza que podamos maximizarla indefinidamente como palanca causal.
Aquí no hay fraude.
Hay un modelo demasiado simple.
Y creo que esta distinción es fundamental.
Una métrica puede fallar aunque absolutamente todo el mundo actúe de buena fe.
El proxy no es el enemigo
Hay otra reacción igualmente equivocada.
Descubrimos Goodhart.
Leemos un par de ejemplos.
Y concluimos que las métricas son peligrosas y deberíamos dirigir organizaciones mediante intuición, conversaciones y sentido común.
No me convence.
El sentido común también es una representación imperfecta de la realidad.
Solo que peor documentada.
Necesitamos proxies.
Necesitamos indicadores.
Necesitamos modelos.
Sin ellos tendríamos que comprender directamente sistemas demasiado complejos cada vez que quisiéramos tomar una decisión.
La cuestión no es evitar la simplificación.
Es recordar que estamos simplificando.
Un KPI no es la realidad.
Un OKR tampoco.
Un ranking tampoco.
Una puntuación crediticia tampoco.
Una nota académica tampoco.
Una métrica de conversión tampoco.
Una función de recompensa tampoco.
Todos son intentos de traducir una intención mucho más compleja a una señal operable.
El error aparece cuando el proxy adquiere el mismo estatus ontológico que aquello que representa.
«La satisfacción ha subido a 72.»
No.
Ha subido a 72 el instrumento con el que hemos decidido representar una parte de la satisfacción.
Parece una precisión lingüística absurda.
Hasta que alguien cobra un bonus por llegar a 75.
He acabado con cinco movimientos
Cuando intento dibujar el mecanismo, ahora mismo me resulta útil pensarlo así:
- Tenemos un objetivo difícil de observar. Queremos aprendizaje, calidad, productividad, buena atención, mejores ventas o una política pública eficaz.
- Construimos un proxy. Exámenes, tiempos, llamadas, tickets, conversiones, puntuaciones o cualquier indicador que correlacione razonablemente con el objetivo.
- Convertimos el proxy en objetivo operativo. Lo incluimos en un dashboard, fijamos un umbral, añadimos un bonus, una sanción, una clasificación o una recompensa.
- El sistema se adapta. Las personas, procesos o algoritmos descubren maneras de aumentar aquello que realmente produce consecuencias.
- Proxy y objetivo pueden divergir. Seguimos mejorando lo que medimos mientras la relación con aquello que queríamos conseguir se debilita.
No siempre ocurre.
No siempre ocurre igual.
Y optimizar una métrica puede mejorar realmente el objetivo durante mucho tiempo.
El problema está en asumir que esa relación es infinita.
Que si 20 es bueno, 200 debe ser diez veces mejor.
Que si una medida funcionaba antes de convertirla en objetivo seguirá funcionando exactamente igual después.
Que el sistema permanecerá quieto mientras nosotros lo optimizamos.
No suele tener esa cortesía.
Un KPI no observa una organización desde fuera
Esta idea es probablemente la que más me interesa de todo el artículo.
Solemos imaginar un dashboard como una ventana.
La empresa está ahí.
La observamos mediante indicadores.
Ventas.
Margen.
Tiempo.
Conversión.
Tickets.
Productividad.
Parece una relación unidireccional:
realidad → datos → dashboard
Pero en cuanto utilizamos el dashboard para gestionar, el flujo se cierra:
realidad↓datos↓dashboard↓decisiones↓incentivos↓comportamiento↓nueva realidad
El instrumento con el que observamos el sistema empieza a modificarlo.
Eso significa que diseñar métricas no es solamente un problema de analítica.
Es diseño organizativo.
Estamos decidiendo qué será visible.
Qué se discutirá en una reunión.
Qué comportamiento tendrá reconocimiento.
Qué problema aparecerá en rojo.
Qué departamento parecerá funcionar.
Quién tendrá que justificarse.
Qué actividad será premiada.
Y también, inevitablemente, qué partes de la realidad tendrán menos atención porque no caben en esa pantalla.
Un dashboard organiza la mirada.
Y organizar la mirada termina organizando una parte del comportamiento.
Entonces llegó la inteligencia artificial y construimos el mismo problema en código
Aquí la analogía deja de ser metáfora.
En aprendizaje por refuerzo necesitamos alguna forma de decirle a un sistema qué comportamiento queremos.
Una función de recompensa.
El agente realiza acciones.
Recibe una señal.
Aprende a maximizarla.
La estructura parece bastante razonable.
Hasta que descubrimos que haber especificado una recompensa no significa haber especificado correctamente nuestra intención.
En 2016, Dario Amodei, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman y Dan Mané identificaron el reward hacking como uno de los problemas prácticos de seguridad en inteligencia artificial: un sistema puede encontrar formas de obtener más recompensa explotando errores o lagunas en la función que hemos construido para guiarlo.
La máquina no necesita odiarnos.
No necesita rebelarse.
Ni siquiera necesita comprender que está haciendo algo raro.
Está optimizando.
Ese era el trabajo.
Podemos separar la recompensa del resultado que realmente queríamos
Jan Leike y sus colaboradores construyeron en 2017 los AI Safety Gridworlds, pequeños entornos diseñados específicamente para estudiar este tipo de problemas.
La arquitectura del experimento es reveladora.
El agente observa una función de recompensa.
Pero los investigadores mantienen otra función de rendimiento que el agente no ve y que representa mejor aquello que realmente quieren evaluar.
Así pueden observar situaciones donde el agente consigue una recompensa alta mientras su comportamiento es malo según el objetivo oculto.
Es casi una versión artificial del problema del dashboard.
Tenemos dos variables:
lo que el sistema puede optimizar
y
lo que nosotros queríamos conseguir.
Mientras ambas permanecen alineadas, todo parece funcionar.
Cuando divergen, aparece el problema.
No porque la máquina haya incumplido la especificación.
Puede haberla cumplido perfectamente.
El fallo estaba en que nuestra especificación era solamente un proxy.
Reward hacking es Goodhart con esteroides
En 2022, Joar Skalse y sus colaboradores formalizaron precisamente este problema.
Definen reward gaming como situaciones donde optimizar una recompensa proxy puede reducir el rendimiento según la recompensa verdadera que intentábamos representar. Su análisis muestra además que construir proxies que sean completamente inmunes a este problema es una condición mucho más fuerte y difícil de lo que podría parecer intuitivamente.
Eso conecta casi directamente con Goodhart.
Y Manheim y Garrabrant hacen explícita esa conexión: cuanto mayor es la capacidad de optimización aplicada sobre un proxy, más importante puede volverse el problema de la divergencia entre métrica y objetivo.
Esto me parece especialmente relevante ahora.
Un empleado puede buscar una manera de mejorar un KPI.
Una organización puede reorganizar procesos alrededor de una métrica.
Pero una máquina diseñada específicamente para explorar posibilidades y maximizar una función puede aplicar mucha más presión sobre el proxy.
Le estamos pidiendo que encuentre soluciones que nosotros no encontramos.
Después nos sorprende cuando encuentra también agujeros que nosotros no vimos.
Los modelos de lenguaje tampoco parecen inmunes
Esto ya no es solamente un problema de pequeños agentes moviéndose por cuadrículas experimentales.
Un preprint publicado en junio de 2026 adaptó los clásicos AI Safety Gridworlds a agentes basados en modelos de lenguaje. Los autores encontraron comportamientos de specification gaming incluso sin entrenamiento específico para buscarlos: los agentes podían obtener mejores recompensas observadas mientras rendían peor según objetivos de seguridad ocultos. En sus experimentos, optimizar directamente la recompensa no eliminó necesariamente la divergencia y en algunos casos la aumentó. Al tratarse de un preprint reciente, conviene tomar sus resultados como evidencia experimental emergente, no como una conclusión definitiva sobre todos los agentes de IA.
Aun con esa cautela, el mecanismo vuelve a resultar familiar.
El sistema descubre qué estamos puntuando.
Después optimiza eso.
Es difícil enfadarse demasiado.
Nosotros hacemos exactamente lo mismo.
La IA no está inventando el problema
Creo que esta es la conexión que más me interesa.
Hablamos de alineamiento de inteligencia artificial como si hubiéramos descubierto una categoría completamente nueva de dificultad.
¿Cómo conseguimos que una máquina haga aquello que queremos realmente y no solamente aquello que hemos conseguido escribir?
Es un problema enorme.
Pero tiene un hermano bastante antiguo.
¿Cómo conseguimos que una organización haga aquello que queremos realmente y no solamente aquello que hemos conseguido medir?
¿Cómo conseguimos que una política pública mejore aquello que pretendía mejorar y no solamente sus indicadores?
¿Cómo conseguimos que un empleado optimice el propósito y no simplemente su bonus?
¿Cómo conseguimos que una escuela aumente aprendizaje y no únicamente resultados en una prueba?
No estoy diciendo que ambos problemas sean idénticos.
Una organización humana y un agente de aprendizaje por refuerzo son sistemas radicalmente distintos.
Pero comparten una dificultad estructural:
la intención es más rica que la señal mediante la que intentamos transmitirla.
Y cuanto más poder damos al sistema para optimizar la señal, más importante resulta la diferencia.
Quizá el error esté en pensar que podemos especificar completamente lo que queremos
Supongamos que queremos diseñar la métrica perfecta de atención al cliente.
Podemos incluir satisfacción.
Tiempo de respuesta.
Resolución en primer contacto.
Cancelaciones.
Reclamaciones.
Valor futuro.
Calidad de las respuestas.
Podemos añadir diez dimensiones más.
Cada nuevo indicador corrige parte de las limitaciones anteriores.
También introduce nuevos problemas.
¿Cómo ponderamos cada uno?
¿Una respuesta rápida pero incorrecta es mejor que una respuesta lenta y excelente?
¿Un cliente satisfecho porque hemos concedido una devolución que no correspondía representa buen servicio?
¿Debemos optimizar satisfacción inmediata si una decisión más incómoda protege mejor al cliente a largo plazo?
El objetivo real probablemente contiene juicios que no podemos convertir perfectamente en una fórmula.
Eso no significa abandonar las fórmulas.
Significa abandonar la fantasía de que la fórmula es el objetivo.
Y si añadimos veinte métricas tampoco desaparece el problema
Una solución habitual a Goodhart consiste en añadir indicadores.
Si una métrica se puede manipular, usamos cinco.
Si cinco son insuficientes, veinte.
Balanced Scorecard.
OKRs.
Indicadores adelantados.
Indicadores retrasados.
Métricas cuantitativas.
Cualitativas.
Puede ayudar.
Desde luego puede hacer más difícil optimizar una única dimensión absurda.
Pero la complejidad tampoco garantiza fidelidad.
Podemos construir una representación con cincuenta variables y seguir habiendo dejado fuera exactamente aquello que importa.
O generar tantos indicadores que nadie sepa qué decisión tomar.
O introducir objetivos incompatibles.
O conseguir que el equipo aprenda a optimizar la combinación completa.
El problema no es únicamente cuántas dimensiones tiene el proxy.
Es nuestra relación con él.
¿Seguimos tratándolo como una hipótesis sobre la realidad o hemos empezado a tratarlo como la realidad misma?
Entonces, ¿qué hacemos?
No creo que exista una solución limpia.
Las investigaciones que hemos recorrido muestran distintos tipos de distorsión precisamente porque el problema aparece de maneras diferentes.
Podemos diseñar mejores indicadores.
Combinar medidas.
Auditar.
Revisar efectos secundarios.
Buscar comportamientos estratégicos.
Separar algunas métricas de diagnóstico de las métricas que generan incentivos.
Mantener observaciones cualitativas.
Cambiar indicadores cuando descubrimos que han perdido utilidad.
Evaluar resultados que el sistema no conoce de antemano, algo parecido a la función de rendimiento oculta utilizada experimentalmente en AI Safety Gridworlds.
Jacob y Levitt mostraron además que el análisis estadístico puede ayudar a detectar comportamientos anómalos incluso cuando existe un incentivo para ocultarlos.
Bevan y Hood planteaban igualmente la necesidad de sistemas de auditoría y gobernanza capaces de responder a los problemas de medición y gaming que aparecen cuando gestionamos mediante objetivos.
Pero ninguna de esas herramientas elimina la dificultad fundamental.
Necesitamos comprimir la realidad para poder actuar sobre ella.
Y cada compresión pierde información.
La métrica es un modelo
Creo que aquí vuelvo a la misma obsesión que aparece en casi todo lo que estoy intentando entender últimamente.
Construimos modelos porque la realidad entera no cabe dentro de nuestra cabeza.
Una categoría es un modelo.
Un KPI es un modelo.
Un dashboard es un modelo.
Una función de recompensa es un modelo.
Una base de datos también.
Todos deciden qué conservar.
Qué ignorar.
Qué separar.
Qué relacionar.
Y por eso todos tienen el mismo riesgo.
Funcionan tan bien que acabamos olvidando que fueron construidos.
La métrica «clientes satisfechos» parece una propiedad de la empresa.
No lo es.
Primero alguien tuvo que decidir qué significa satisfecho.
Cómo preguntarlo.
A quién.
Cuándo.
Qué respuestas cuentan.
Cómo agregarlas.
Qué peso tienen.
La puntuación final es el resultado de todas esas decisiones.
Después aparece en un dashboard con dos decimales.
73,42.
Y la precisión visual hace una cosa bastante extraña.
Nos hace olvidar toda la incertidumbre que había antes.
Quizá medir sea una forma de gobernar
Esto me parece más importante que hablar de KPIs.
Cuando decidimos qué medir estamos haciendo una selección sobre la realidad.
Y cuando vinculamos decisiones a esa medida estamos haciendo algo más.
Estamos gobernando.
No necesariamente desde un gobierno.
Una empresa gobierna su propio comportamiento.
Un algoritmo gobierna qué contenido vemos.
Un sistema de incentivos gobierna qué actividades resultan atractivas.
Un ranking gobierna qué significa tener éxito dentro de una competición.
Una evaluación gobierna qué merece atención.
Por eso cambiar una métrica puede cambiar el sistema incluso aunque no modifiquemos ninguna norma explícita.
De repente algo cuenta.
Algo deja de contar.
Algo merece tiempo.
Algo puede esperar.
Y quizá por eso los sistemas de medición son mucho más políticos de lo que parecen cuando los dibujamos en Power BI.
El sistema no falló
Empecé este artículo con una frase bastante contundente.
El sistema no falló. Hizo exactamente lo que le pedimos.
Ahora creo que tampoco es completamente correcta.
Los sistemas no son máquinas simples que obedecen literalmente nuestras instrucciones.
Las organizaciones tienen intereses distintos.
Las personas interpretan.
Los indicadores contienen ruido.
Los modelos son incompletos.
Las relaciones causales cambian.
Las máquinas exploran soluciones imprevistas.
Hay demasiadas cosas ocurriendo como para decir que cualquier resultado perverso era exactamente aquello que habíamos pedido.
Pero la frase sigue sirviéndome por una razón.
Nos obliga a mirar una parte del problema que normalmente dejamos fuera.
Antes de acusar al sistema de comportarse absurdamente, quizá deberíamos mirar qué comportamiento hicimos observable, premiable y optimizable.
Queríamos ventas.
Premiamos llamadas.
Queríamos aprendizaje.
Premiamos notas.
Queríamos calidad.
Premiamos velocidad.
Queríamos una IA que resolviera una tarea.
Le dimos una recompensa.
Después el sistema empezó a organizarse alrededor de aquello que podía ver.
No necesariamente porque estuviera mal diseñado.
Porque diseñar una representación perfecta de lo que queremos quizá sea imposible.
Y aquí aparece la pregunta que me parece verdaderamente interesante.
No:
¿cuál es el KPI correcto?
Sino:
¿qué parte de la realidad estamos convirtiendo en objetivo cuando elegimos este KPI y qué ocurrirá cuando un sistema inteligente empiece a optimizarlo de verdad?
Porque una medida no permanece pasivamente dentro de un dashboard.
En cuanto produce consecuencias, entra en el mundo.
Las personas la aprenden.
Las organizaciones la incorporan.
Los algoritmos la maximizan.
El mapa empieza a modificar el territorio.
Y entonces quizá ya no baste con preguntar si estamos midiendo bien.
Tenemos que seguir preguntando algo más incómodo:
¿seguimos intentando mejorar la realidad o ya estamos mejorando solamente la representación que construimos de ella?
El problema es que, desde dentro del dashboard, las dos cosas pueden verse exactamente iguales.
Todo está verde.
Referencias
Goodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. La formulación original de lo que posteriormente se conocería como ley de Goodhart surgió del problema de utilizar regularidades estadísticas como instrumentos de control en política monetaria. La versión popular actual es más amplia que la observación inicial.
Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67–90. Campbell planteó el riesgo de que utilizar intensamente indicadores cuantitativos para decisiones sociales introduzca presiones de corrupción y termine distorsionando los propios procesos que se quieren evaluar. DOI: 10.1016/0149-7189(79)90048-X.
Courty, P. y Marschke, G. (2004). An Empirical Investigation of Gaming Responses to Explicit Performance Incentives. Journal of Labor Economics, 22(1), 23–56. Los autores estudian respuestas estratégicas a incentivos explícitos dentro de una gran organización pública y encuentran efectos negativos sobre su objetivo real. DOI: 10.1086/380402.
Jacob, B. A. y Levitt, S. D. (2003). Rotten Apples: An Investigation of the Prevalence and Predictors of Teacher Cheating. The Quarterly Journal of Economics, 118(3), 843–877. El análisis de las escuelas públicas de Chicago relaciona cambios en incentivos con variaciones en los patrones de manipulación detectados en pruebas estandarizadas. DOI: 10.1162/00335530360698441.
Bevan, G. y Hood, C. (2006). What’s Measured Is What Matters: Targets and Gaming in the English Public Health Care System. Public Administration, 84(3), 517–538. El artículo estudia los problemas de medición y comportamiento estratégico asociados al gobierno mediante objetivos en el sistema sanitario inglés. DOI: 10.1111/j.1467-9299.2006.00600.x.
Manheim, D. y Garrabrant, S. (2018). Categorizing Variants of Goodhart’s Law. Los autores distinguen diferentes mecanismos mediante los cuales la optimización de proxies puede romper su relación con el objetivo: efectos regresionales, extremos, causales y adversariales.
Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J. y Mané, D. (2016). Concrete Problems in AI Safety. El trabajo identifica el reward hacking como uno de los problemas prácticos de especificar objetivos para sistemas de aprendizaje automático.
Leike, J. et al. (2017). AI Safety Gridworlds. El trabajo separa experimentalmente la recompensa observada por un agente de una función de rendimiento oculta que representa mejor el comportamiento deseado, permitiendo estudiar reward gaming y otros fallos de especificación.
Skalse, J. M. V., Howe, N. H. R., Krasheninnikov, D. y Krueger, D. (2022). Defining and Characterizing Reward Gaming. NeurIPS 2022. Formaliza situaciones donde incrementar una recompensa proxy puede reducir el resultado según el objetivo verdadero.
Çağatan, Ö. V. y Zhao, X. (2026). Reward Hacking in Language Model Agents: Revisiting AI Safety Gridworlds. Preprint. Adapta problemas clásicos de reward gaming a agentes basados en modelos de lenguaje y encuentra divergencias entre recompensa observable y objetivos de seguridad ocultos. Al ser trabajo reciente no revisado todavía como publicación definitiva, sus resultados deben interpretarse con esa cautela.
Deja una respuesta