La disciplina de esperar

El CEO de una startup B2B tenía un problema con su equipo comercial. Los números no cerraban, el pipeline se veía bien en las reuniones y mal en el banco, y nadie sabía explicar por qué.

Hizo lo que haría cualquiera con criterio: se dio cuenta de que estaba decidiendo a ciegas. Su función analítica era pobre, así que invirtió en arreglarla. Migró a un CRM decente, ordenó las etapas del funnel, obligó al equipo a cargar la información. Tres meses después tenía por primera vez algo que nunca había tenido: win rate por ejecutivo de ventas.

Y ahí vio algo que lo inquietó, porque era lo contrario de lo que esperaba.

Su hipótesis, la que cualquiera tendría, era que los veteranos iban a salir mejor. Tenían años de oficio, relaciones construidas, olfato para descartar rápido lo que no iba a ningún lado. Y que los nuevos iban a ir mejorando su win rate a medida que acumularan experiencia, como mejora todo el mundo. Los números le dijeron otra cosa: los vendedores que venía arrastrando desde los primeros años cerraban menos, en proporción, que los tres que había incorporado hacía poco.

La diferencia no era enorme, pero estaba, y era consistente con una sospecha que ya venía masticando. Lo que no sabía —lo que no tenía forma de saber mirando ese tablero— era que el número de los nuevos ya venía inflado, y que el margen de mejora que él les atribuía hacia adelante era, en realidad, aire que iba a desinflarse solo.

Actuó. Desvinculó a los veteranos, contrató más perfiles parecidos a los nuevos, y siguió midiendo. Se sintió bien: por fin estaba tomando decisiones con datos y no con impresiones.

Seis meses después el negocio estaba considerablemente peor de lo que había estado nunca.

Tres formas de que ese número mienta

Lo primero que hay que decir es que el CEO no hizo nada delirante. Se equivocó, y el error salió caro, pero es el error de alguien que estaba tratando de hacer bien las cosas. Midió, encontró una diferencia, actuó sobre ella. Es literalmente lo que le pedimos a un buen ejecutivo. El problema no está en la decisión sino en un paso anterior, tan invisible que casi nunca lo discutimos: cuánta evidencia hacía falta para que esa diferencia significara algo.

Un win rate no es un hecho. Es una estimación, y como toda estimación tiene un desvío. Con veinte oportunidades cerradas, un vendedor que en verdad cierra al 30% puede mostrar 20% o 40% sin que haya pasado absolutamente nada distinto. Las distribuciones de los veteranos y las de los nuevos no eran dos puntos separados: eran dos campanas anchas montadas una sobre la otra, con muchísima superficie compartida. El CEO leyó como señal lo que era el ancho de la campana.

Es lo que en estadística se llama un error de tipo I: concluir que hay una diferencia cuando no la hay. En una decisión de personal tiene cara concreta, y es exactamente la del CEO de esta historia: desvincular a alguien que servía por una diferencia que era, en realidad, el ancho de la campana. Su gemelo, el error de tipo II, es el vendedor que efectivamente no da pero cuyos números cayeron en el medio del pelotón y por eso nadie los miró dos veces.

El primero deja una silla vacía y una historia incómoda que alguien va a contar en el pasillo. El segundo se queda cobrando sueldo durante años y no genera ninguna conversación. Por eso casi todas las empresas que conozco están descalibradas en la misma dirección: no es que hayan elegido mal el umbral, es que un error se ve y el otro no, y terminamos protegiéndonos del que deja rastro.

Y hay algo más incómodo en este caso. Con veinte oportunidades cerradas por vendedor, ese CRM no tenía capacidad de detectar una diferencia real aunque hubiera existido. El número necesario es peor de lo que la intuición sugiere: para distinguir un win rate de 20% de uno de 30% —una brecha que en una reunión de directorio nadie dudaría en llamar significativa— harían falta alrededor de trescientas oportunidades cerradas por vendedor, con los niveles de confianza y potencia que se usan habitualmente. Incluso para separar un 20% de un 40%, que es una diferencia gigante, hacen falta más de ochenta.

Él tenía veinte. El mismo instrumento que le entregó un falso positivo era, al mismo tiempo, incapaz de darle un verdadero positivo. No es que la respuesta fuera equivocada: con esos datos, la pregunta directamente no tenía respuesta. Comprar el instrumento y no preguntarse qué puede y qué no puede resolver es la parte del problema que casi nunca se discute.

La segunda forma de que el número mienta tiene que ver con el tiempo. Si el ciclo de venta es largo, el win rate mide lo que ya se resolvió, y lo que ya se resolvió no es una muestra representativa de lo que está en el pipeline. Los negocios se cierran rápido cuando salen bien y se pudren lentamente cuando salen mal. Un vendedor con seis meses de historia tiene un denominador construido casi enteramente con los casos que se resolvieron rápido. Uno con seis años carga con todos los cadáveres.

Y la tercera, que es la que más me interesa, ya no es estadística.
Cuando el medido controla la medición

Para marcar una oportunidad como perdida hay que hacer algo incómodo: aceptar que se perdió. Nadie te obliga. El sistema te deja dejarla ahí, en “negociación”, indefinidamente.

Un vendedor con experiencia sabe que un cliente que no responde hace cinco semanas ya dijo que no. Lo cierra en negativo, le baja el propio win rate, y sigue. Uno nuevo lo deja abierto. No necesariamente por mala fe: porque le duele, porque todavía cree, porque no aprendió a distinguir un silencio de una demora. A veces, sí, porque entendió rápido qué es lo que la empresa mira.

El efecto es el mismo en los tres casos. El numerador y el denominador de la métrica los controla la persona que está siendo evaluada con esa métrica. Y como el que menos experiencia tiene es también el que menos rápido sincera las pérdidas, el sesgo apunta sistemáticamente a favor de los nuevos.

Esto es distinto del ruido. El ruido es simétrico y se promedia. El sesgo no se promedia nunca: por más datos que acumules, sigue ahí, con la misma fuerza y en la misma dirección.

Y lo que pasó después fue casi peor.

A medida que los nuevos acumularon volumen —y a medida que sus propias oportunidades cajoneadas envejecieron hasta que ya no se podían seguir sosteniendo— sus win rates bajaron. No porque se hubieran relajado, ni porque el mercado hubiera cambiado. Bajaron porque un número extremo calculado sobre pocos casos tiende a moverse hacia el promedio cuando llegan más casos. Es lo más previsible que hay en estadística y lo más difícil de aceptar cuando te toca.

Es la trampa que Kahneman describe en Pensar rápido, pensar despacio con los instructores de vuelo de la fuerza aérea israelí. Retaban a un piloto después de un mal aterrizaje y el siguiente le salía mejor. Lo elogiaban después de uno bueno y el siguiente le salía peor. Concluyeron, con evidencia empírica impecable, que el castigo funciona y el elogio arruina. Lo que estaban observando era una serie con ruido volviendo a su media.

El CEO quedó frente a dos lecturas posibles: aceptar que la diferencia que justificó los despidos nunca existió, o concluir que los nuevos se durmieron. Es incómodo, pero la segunda es la que uno elige casi siempre, y suele venir acompañada de otra ronda de cortes.

Y hay una ironía que me parece la parte más cruel de todo el episodio. Al desvincular a los veteranos, destruyó la única línea de base contra la cual podría haber descubierto su propio error. La acción se comió la posibilidad de medirla. No hay experimento de control cuando el grupo de control ya no trabaja acá.

Eso no es exclusivo de despedir gente. Cambiar el pricing cada seis semanas, mover el perfil de cliente ideal, rotar de agencia, cortar una campaña antes de que madure: cada intervención genera datos nuevos y al mismo tiempo arruina la comparabilidad de los viejos. Terminás con una serie larguísima donde nunca hubo dos períodos parecidos.

El mismo problema, menos drama

Hace seis semanas arranqué un proceso de recomposición corporal. Nada dramático: bajar grasa despacio, sostener masa magra, sin fechas heroicas.

La recomendación estándar, la que vas a encontrar en cualquier lado, es que no te peses todos los días. Que te obsesionás, que el número te maneja el humor, que una vez por semana alcanza. Hice exactamente lo contrario. Me peso todos los días, siempre a la misma hora, en ayunas, con una balanza que sincroniza sola con el teléfono para que el registro no dependa de mi voluntad.

Y no me peso todos los días a pesar de saber que el peso diario es ruidoso. Me peso todos los días precisamente porque el peso diario es ruidoso.

El sodio de la cena de ayer arrastra agua. Cada gramo de glucógeno se lleva unos tres de agua con él. Está el contenido intestinal, el cortisol, la hora a la que te acostaste. Nada de eso tiene que ver con la grasa corporal, y todo eso está adentro del número que marca el piso. La única forma de sacarlo es promediarlo, y para promediarlo hay que tener datos.

La alta frecuencia no es lo que alimenta la obsesión. Es lo que me permite ser indiferente a cualquier medición individual. Me mido todos los días para no tener que mirar ninguno.

46, 33, 7

Seis semanas de pesadas diarias. La tendencia real, ajustada por regresión, es una baja de 306 gramos por semana, con un R² de 0,74 y un p-valor lo bastante chico como para que la hipótesis de que no estaba bajando nada sea difícil de sostener. Un kilo novecientos en seis semanas. No hay ambigüedad: el proceso funcionó, de forma sostenida, todo el tiempo.

Ahora, las mismas mediciones leídas de tres maneras distintas.

Contra el día anterior: el 46% de los días la balanza dijo que había subido. Dieciocho de treinta y nueve. Casi la mitad. Hubo una racha de tres días seguidos “engordando” adentro de un tramo en el que solo bajé.

Contra el mismo día de la semana anterior —que es la disciplina que recomienda casi todo el mundo, y que suena mucho más sensata—: el 33%. Un tercio de las semanas habría parecido estancamiento o retroceso.

Contra una media móvil de siete días, comparada con la media móvil de siete días antes: el 7%. Dos casos, ambos de esta última semana, ambos con diferencias tan chicas que son borde de cálculo.

Cuarenta y seis, treinta y tres, siete. Los mismos datos. La misma realidad física. Tres reglas de lectura distintas.

Elegí siete días de ventana por una razón que no es estadística sino biográfica: la vida humana tiene una periodicidad semanal. Hay un fin de semana cada siete días, se come distinto, la rutina del gimnasio cambia, se duerme diferente. Una ventana de siete cubre un ciclo completo de eso, sea cual sea su forma exacta. Vale la aclaración honesta: cuando busqué explícitamente un efecto día-de-semana en mis datos, no encontré nada concluyente. Siete no es un número que yo haya demostrado; es un número que cubre la estructura que sé que existe aunque no la haya podido aislar todavía.

Y para un proceso comercial, siete casi seguro no es el número. La ventana tiene que ser del tamaño del ciclo, y el ciclo de un funnel B2B no dura una semana.

Lo que habría hecho conmigo la lectura diaria

Esta es la parte donde las dos historias se tocan.

Si yo hubiera mirado el número contra el del día anterior, habría tenido casi la mitad de los días con evidencia aparente de que algo no funcionaba. Y no habría aguantado. Habría recortado calorías, sacado alguna comida, apretado un poco. Después habría visto tres días de bajas seguidas y me habría relajado, con la misma justificación de datos.

El resultado no habría sido solamente andar de mal humor. Habría metido más variabilidad en el sistema, encima de la que ya tenía. Comidas cambiando de semana en semana, glucógeno subiendo y bajando, cada corrección generando su propia oscilación. Habría convertido el ruido de la medición en ruido real del proceso, y a esa altura ya no habría forma de saber qué estaba pasando.

Es exactamente lo que le pasó al CEO. Leyó ruido, actuó, y su acción generó ruido nuevo —equipo desestabilizado, cuentas huérfanas, relaciones de años que se fueron con las personas— que después leyó como información sobre la calidad de la gente que había contratado.

Medir seguido, decidir lento

Acá está el principio, y es más raro de lo que parece porque separa dos cosas que instintivamente juntamos.

La frecuencia con la que medís y la frecuencia con la que decidís no tienen por qué ser la misma. Medís rápido, para tener con qué promediar. Decidís lento, porque la señal necesita tiempo para emerger del ruido. Todo el problema del CEO cabe en haber igualado las dos: el CRM le dio, por primera vez en su vida, la capacidad de mirar. Y asumió que mirar más seguido lo habilitaba a decidir más seguido.

Es un instinto entendible. La instrumentación se siente como poder, y el poder pide ejercicio.

Y hay una cultura entera empujando en esa dirección. Move fast and break things funciona bastante bien como antídoto contra la parálisis, que es un problema real y bien documentado en startups. El problema aparece cuando lo aplicamos donde no corresponde. Moverse rápido con poca información está perfecto, y a veces es la única opción disponible: tomás el riesgo, usás la intuición, asumís explícitamente que estás apostando. Eso es honesto y es parte del oficio.

Lo que no está bien es creer que estás decidiendo con datos cuando en realidad estás jugando a la lotería con un tablero adelante. Esa es la trampa: no la apuesta, sino la apuesta disfrazada de precisión. El CEO de la historia habría estado mejor parado si hubiera dicho “tengo la corazonada de que estos tres son mejores y voy a apostar a eso”. Al menos habría sabido lo que estaba haciendo, y probablemente habría pedido más evidencia antes de convertir la corazonada en despidos. El CRM no le dio información: le dio permiso.

Pero hay una asimetría que el CEO invirtió por completo, y que a mí me protegió sin que yo hiciera nada especialmente inteligente.

Si me equivoco leyendo mi balanza, el costo es una semana comiendo un poco menos de lo necesario. Se revierte solo. Es un error barato y reversible, y por eso puedo permitirme un umbral de evidencia bajo.

Si el CEO se equivoca leyendo su CRM, el costo son personas que ya no vuelven, clientes que se van con ellas, y una base de comparación destruida. Es un error caro e irreversible, y exige un umbral de evidencia altísimo.

Él fue más liviano con evidencia ruidosa para desvincular a cinco personas de lo que yo fui con evidencia comparable para saltearme un postre. Dicho así suena absurdo. Y sin embargo es la posición por defecto en la mayoría de las empresas que conozco: cuanto más grande la decisión, más presión hay por tomarla rápido, y menos tiempo queda para preguntarse si el número que la justifica dice lo que parece decir.

Fijar un umbral de evidencia es, exactamente, elegir cómo repartís el riesgo entre los dos tipos de error. Un umbral bajo te llena de tipo I; uno alto, de tipo II. No existe la opción de no elegir. Lo único que existe es elegirlo a conciencia, o dejar que lo fije la urgencia que sentiste ese día.

La regla que sale de acá es simple de enunciar y difícil de sostener: el umbral de evidencia tiene que escalar con la irreversibilidad de la decisión, no con la urgencia que sentís.

Coda

Hay algo que me viene rondando desde que empecé a mirar mis propios datos con más atención de la que merecían.

Casi todo lo que nos importa —una dieta, un equipo comercial, la salud de una relación, la trayectoria de una startup— es un proceso con ruido. No a veces: siempre. Es una propiedad de los sistemas complejos, no un defecto de la medición. Y sin embargo nuestro entrenamiento formal nos prepara para leer números que no se mueven, mientras que la vida entera nos entrega números que se mueven todo el tiempo.

Por eso creo que la estadística debería enseñarse desde la primaria, y no como una rama de la matemática sino como una parte del pensamiento lógico, al lado de aprender a distinguir una causa de una correlación o un argumento de una opinión. No para calcular nada. Para tener la intuición, desde chico, de que un dato aislado casi nunca significa lo que parece.

Y para desarrollar lo que en el fondo es la disciplina más difícil de todas, que no tiene nada de técnica: la de mirar un número que te está gritando que hagas algo, entender que todavía no te está diciendo nada, y no hacer nada.

¿Cuántas de las decisiones que defendemos como basadas en datos son, en realidad, reacciones a la varianza?

Fuente:https://mrpinkvc.substack.com/p/la-disciplina-de-esperar?utm_source=post-email-title&publication_id=161782&post_id=214449292&utm_campaign=email-post-title&isFreemail=true&r=fuzaa&triedRedirect=true&utm_medium=email