Ir al contenido
Artículo

Modelos de frontera para lo difícil, abiertos para el resto: hice la prueba

Una fintech europea dice que su cuenta de inferencia bajó a una décima parte con un modelo abierto autoalojado. Probé 24 tareas de retail de tres formas.

Read this article in English

Ilustración de un agente de tránsito que le hace señas a un conductor de scooter que va rápido para que pase, mientras una limusina naranja quemado espera junto a la cuneta, al lado del titular en inglés "24x cheaper per completed task: frontier for the hard stuff, open for the rest" (24 veces más barato por tarea completada: frontera para lo difícil, abierto para el resto).

La elección del modelo se está convirtiendo en una decisión de enrutamiento, no de proveedor. Antes la pregunta era con qué proveedor firmar. Ahora es a qué modelo debe ir cada tarea, y quién lo decide.

Lo que contó la fintech

Una fintech europea dio una charla el mes pasado sobre cómo pasó a unos 2.000 ingenieros de herramientas de frontera con cobro por consumo a un modelo de pesos abiertos autoalojado. Las cifras principales llamaban la atención. La cuenta de inferencia bajó a cerca de una décima parte de lo que era. El tiempo de programación mejoró un 60% y el lead time, un 70%.

El detalle importa más que el titular. La empresa atribuye la mejora en programación a haber eliminado los límites de tokens, no a que el modelo abierto sea más inteligente. Antes del cambio, los ingenieros racionaban los tokens con presupuestos estrictos. Después podían poner a un agente a trabajar en cualquier cosa, incluido el triaje de correos y tickets. El lead time mejoró más que el tiempo de programación, y la lectura del expositor fue que programar no es el principal cuello de botella. Lo es todo lo que rodea al código. La empresa mantuvo los modelos de frontera para las tareas en que son claramente mejores, como excepción y no como opción por defecto.

La cifra de costo también necesita su nota al pie. La décima parte es la cuenta de inferencia. Deja fuera a las personas, el monitoreo y el ajuste que hicieron falta para que el autoalojamiento funcionara.

Lo que probé

Quería ver la misma disyuntiva a la escala de un solo agente. Tomé un agente de analítica de retail y congelé un conjunto de 24 tareas armadas a partir de una semana de datos de ventas de retail de demostración, 10 categorías de negocio durante 7 días, extraídos una sola vez a través de un modelo semántico gobernado.

Dieciséis tareas eran rutinarias: consultar las ventas de un día, sumar una semana, calcular la variación de un día a otro, aplicar la regla de alzas bruscas del agente, calcular las ventas promedio por unidad. Ocho eran más difíciles: preguntas de varios pasos, como qué categoría depende más del fin de semana, cuándo se acaba el stock si una entrega llega dos días tarde, cuál de tres opciones de recuperación cuesta menos, un pedido de reposición redondeado a cajas completas, un correo breve a un proveedor que tiene que incluir tres datos específicos y un conjunto de envíos revisados contra sus límites de llegada tardía.

Cada tarea tiene una única respuesta que calculé con código de antemano, así que la corrección la hizo un script, no una persona ni un modelo. Cambié la corrección dos veces, y ambos cambios quedaron registrados con el experimento: el parser acepta una respuesta que omite el envoltorio esperado, y la revisión del correo acepta un guion no estándar en “2-day” (2 días). El segundo cambio fue una recorrección de resultados guardados y dejó como correcta una de las respuestas difíciles del modelo abierto.

Corrí las 24 tareas en tres configuraciones:

  1. Todo abierto. Cada tarea va a un modelo de pesos abiertos.
  2. Todo frontera. Cada tarea va a un modelo de frontera.
  3. Enrutador. Las tareas difíciles van al modelo de frontera, las rutinarias van al modelo abierto, y una respuesta rutinaria que vuelve en el formato equivocado se reenvía al modelo de frontera.

Cada tarea corrió una vez por configuración, 72 llamadas en total, a través de un solo gateway, con los conteos de tokens y los precios que este informó para cada llamada.

Resultados

ConfiguraciónTareas completadas correctamenteTasa de errorCosto por tarea completada (US$)Latencia típica (mediana)Peor caso (percentil 95)
Todo abierto20 de 2416,7%0,00082,8 s18,2 s
Todo frontera22 de 248,3%0,019113,6 s49,5 s
Enrutador23 de 244,2%0,01162,8 s57,6 s

Por cada mil tareas completadas, eso da unos 80 centavos de dólar con todo abierto, unos US$19,05 con todo frontera y unos US$11,60 con el enrutador. El experimento completo costó menos de un dólar.

Lo que de verdad dicen los números

El modelo abierto fue unas 24 veces más barato por tarea completada que el modelo de frontera, y unas cinco veces más rápido en una tarea típica.

Lo interesante son las fallas. Las cuatro fallas del modelo abierto fueron caídas del servicio: el proveedor devolvió un error “service unavailable” (servicio no disponible) y no llegó ninguna respuesta. Cada vez que respondió, acertó, incluidas las ocho tareas difíciles. Las dos fallas del modelo de frontera fueron distintas. En dos de las preguntas de varios pasos gastó todo su presupuesto de razonamiento y no devolvió nada. Una respuesta equivocada y una respuesta que nunca llega son ambas fallas en producción, pero necesitan arreglos distintos. Una necesita un reintento y un segundo proveedor. La otra necesita un presupuesto mayor o una pregunta más acotada.

El enrutador salió mejor en errores y quedó al medio en costo, pero lo logró poniendo el dinero en el lugar equivocado. Casi todo su gasto se fue en tareas difíciles que, en esta prueba, el modelo abierto resolvió por una fracción del precio. Mis tareas “difíciles” eran difíciles para una persona con una planilla, no para un modelo. Un enrutador es tan bueno como su definición de difícil, y la mía fue demasiado generosa.

Eso calza con lo que contó la fintech. Su ganancia vino de hacer que la opción por defecto fuera barata y sin racionamiento, y de reservar la opción cara para los casos que se la ganan. Descubrir cuáles son esos casos es el verdadero trabajo.

Lo que no afirmaría a partir de esto

Son 24 tareas, corridas una vez cada una. Otra semana de datos, otra corrida u otro par de modelos podrían mover cada número de la tabla. El modelo de frontera fue el más potente al que podía acceder mi cuenta del gateway, que no es el más nuevo del mercado. La regla de enrutamiento fue una etiqueta que puse a mano, no un clasificador. La latencia incluye las colas del propio proveedor en una cuenta compartida. Y lo más importante: las tareas difíciles no fueron lo bastante difíciles para separar a los modelos, así que esta prueba no puede decirte dónde el modelo de frontera justifica su precio. Nada de esto dice algo sobre programación, que es lo que midió la fintech.

El método, el conjunto congelado de tareas, cada respuesta en bruto y el script de corrección quedaron guardados con el experimento, así que la corrida se puede repetir.

La pregunta que hay que hacerse

Si operas agentes, la pregunta útil no es “¿qué modelo?”. Pregúntate qué proporción de tus tareas de verdad necesita el modelo caro, y cómo lo sabrías. Si la respuesta es “mandamos todo al mejor, por si acaso”, probablemente estás pagando unas veinte veces más de lo necesario por la mayor parte de tu trabajo.

Lo que le diría a otro profesional

Define “difícil” antes de construir el enrutador. Mi enrutador gastó casi todo su dinero en tareas que el modelo barato resolvió bien. Prueba primero tu conjunto difícil con el modelo barato, y enruta solo lo que de verdad falla.

Cuenta la “no respuesta” aparte de la “respuesta equivocada”. Cada falla de esta corrida fue una respuesta que no llegó: caídas de un lado y un presupuesto de razonamiento agotado del otro. Los reintentos, un segundo proveedor y presupuestos razonables resuelven eso. No van a resolver un modelo que se equivoca con total seguridad.

Haz que la opción por defecto sea barata y deja el modelo caro como excepción. Eso fue lo que hizo la fintech, y es donde aparecieron los ahorros también en mi pequeña prueba. Lo difícil es saber qué casos se ganan la excepción.

~ Mr. Gómez