Wednesday, March 15, 2023

Inteligencia Artificial se baja de la nube: modelos generativos de texto en tu computadora


Desde que en agosto del año pasado se presentó Stable Diffusion- el primer modelo de texto a imagen accesible para todos- no han cesado de aparecer nuevos desarrollos y aplicaciones comerciales  acompañados de toda una nueva narrativa pseudocultural sobre los peligros que se avecinan con estos sistemas de Inteligencia Artificial ( y eso teniendo en cuenta que todavía no sabemos lo que es la Inteligencia)

Los Grandes Modelos de Lenguaje (LLM) tenían hasta ahora una serie de características que los hacían poco asequibles a la comunidad de desarrolladores y al público en general: 

Primero, y al contrario de lo que se podría pensar a priori, los modelos de generación de texto son más costosos ($) de desarrollar que los de imágenes, por eso estos modelos los crean un reducido grupo de empresas pero con alta financiación como la ahora archipopular OpenAI,  propietaria de GPT-3 (y 4), que obviamente controla su acceso mediante una API o través de la interfaz de la web 

La segunda barrera de entrada es que para que para que estos modelos funcionen necesitan procesadores de muy alta capacidad,  de hecho se utilizan varias CPU´s de alta capacidad cuyo coste ronda los 8000 dólares cada una

Estas razones explican (en parte) por que no tienes todavía un LLM en tu propia computadora (o en un smartphone) , pero como esto va más rápido de lo que el propio marketing de la industria predice, el sábado pasado un desarrollador de software abierto (o sea para todos y gratuito) ha logrado por primera vez que un sistema LLM funcione con pocas limitaciones en su propia computadora una MacBook 

Como lo ha hecho? pues usando una combinación del repositorio de modelos de lenguaje de Meta (LLaMa) y un desarrollo a partir de éste creado por un programador de software abierto búlgaro llamado Gerganov 

Sin exageraciones esto parece un hito por que permite que LLM´s de 7 a 13 mil millones de parametros (éste ultimo a la altura ya de lo que hace GPT3) se puedan instalar en una computadora normalita (con 8GB de disco puedes usar el modelo de 13B parámetros)

A partir de ahora no te quepa duda que la extensa tribu que usa estos modelos de IA lo instalará en su equipo (hay ya ejemplos hasta en Raspberry) lo que incrementara exponencialmente las maldades y las bondades de estos sistemas (desde Spam hasta incrementos discretos pero notables de productividad)

Para mi sorpresa, algo del espíritu libre y compartidor del primer Internet y el soft en abierto siguen muy vivos y cuando algo es demasiado importante para muchos (que incluso no lo saben) siempre aparece alguien que lo hace asequible....


No comments: