Wednesday, July 03, 2024

¿Cuánto cuesta mantener un LLM? : algunos datos


Una de las hipotesis/incógnitas entorno a los LLM y a la IA generativa en general , es si se van a convertir en sustitutos de los actuales buscadores (léase Google) o al menos los van a transformar al convertirse en el nuevo motor que los controla (parte de la estrategia de Microsoft con Bing) 

Y aunque técnicamente quizá esto es posible si se sigue incrementando la precisión de estos modelos y la confianza del nuevo usuario, la incógnita mayor es si económicamente esto es posible por los costes de desarrollo y mantenimiento de estos sistemas, y en este sentido nos enfrentamos a los escasos datos que se publican

Por eso me ha parecido tan interesante las cifras que ha desvelado Character.ai uno de esos chatbots de IA que sin demasiada atención mediática se ha convertido en un player importante en este nuevo mercado con millones de visitas mensuales (la mayoría en los US) ocupando un nicho de los chat personalizados sin aparente competencia directa de los grandes players como ChatGPT y Gemini

Según Character.ai su sistema responde ya a 20.000 preguntas cada segundo, aproximadamente el 20% del total de cuestiones que soporta Google por segundo, lo que le sitúa todavía como un lejano pero emergente competidor de incrementarse estas cifras (algo que no veo nada sencillo)

Ahora bien lo interesante es que Character.ai dice que con su tecnología (y el matiz es importante) gestionar ese volumen de preguntas le cuesta menos de 1 centavo (de dólar) por cada hora de conversación que mantiene el usuario con el chat. 

De modo que si un modelo LMM tuviera 100 millones de usuarios (cifra que alcanzó ChatGPT en enero del año pasado) con un coste medio por hora de conversación de 0,01 centavos, anualmente se gastaría unos 365 millones de dólares, o lo que es lo mismo 3,65 dólares anuales por usuario. 

Si estas cifras fueran extrapolables a un emergente pero aun no consolidado mercado de los LLM como referente en las búsquedas, se vislumbra un mercado para la publicidad que ofrezca amplios márgenes de beneficio sin grandes cuotas de mercado a muchos de estos LLM´s que se mueven en mercados nicho


No comments: