Hablando solo de eficiencia energética : modelos LLM vs humanos

Sam Altman, el CEO de OpenAI, va camino de convertirse en alguien/algo más popular que los modelos que desarrolla su empresa, algo que no se realmente si es su objetivo primordial, aun asumiendo que a estas alturas hay retroalimentación: uno vende al otro (y viceversa?)

Hay que ver que controversia-burbuja que ha generado sus descontextualizadas declaraciones del pasado viernes en la India, cuando Altman dijo estar cansado de las críticas sobre el consumo de energía de sus modelos de IA (y estimo que todos los demás) y lo poco riguroso que es olvidarse que para que un adulto no alucine en responder una pregunta debe ser alimentado y entrenado durante 20 años! (que optimista!) 

Altman dijo que la pregunta-critica valida seria preguntarle a un modelo cuánta energía consume un modelo una vez que está entrenado versus un ser humano. Así que lo hice, y Gemini me dijo esto: (incluye fine-tuning mio)

Un cerebro consume en total entre 12 y 20 vatios , pero eso incluye todo, desde controlar que el corazón lata a escribir en este blog !. Nuestro cerebro utiliza una cantidad de energía casi residual para contestar una pregunta (menos del 5%), lo que le hace literalmente incomparable con el consumo de las neuronas electrónicas de una GPU como las de Nvidia 

Cuando preguntamos a alguien algo, su cerebro consume alrededor de 0,0002 vatios/hora, y con esa energía no iluminas ni una fracción de un segundo una lámpara LED , por contra un modelo estándar como ChatGPT consume unos 0,3 watios/hora, energia que nos daria para iluminar 2 minutos con esa misma bombilla LED 

Las comparaciones son casi siempre odiosas (viejo dicho latino) pero esta más, porque un humano consume en efecto un mínimo de 14.000 millones de kilocalorias durante 20 años (equivalente a unos 17.000 kwh en consumo eléctrico) para mantener vivo y activo (con variaciones claro), pero es que esto sólo tiene sentido como medida de productividad en la industria alimentaria, ya que si no gastamos recursos en mantenernos vivos y útiles, ¿para que diantres queremos la IA?

La IA genera más rechazo del que debería, en eso estoy de acuerdo con Altman, pero no por lo que hace o puede llegar a realizar, sino por discursos alucinatorios como este, que mezclan demagogia con ciencia, y levantando la nube de polvo del miedo para vender una tecnología como jamás vimos antes (ni veremos)

Traducción simultanea de llamadas: T-Mobile Live ¿ la vuelta de las telecoms?

Las operadoras de telecomunicaciones son un sector peculiar y de (muy dificil) análisis, porque en teoria deberian liderar los mercados con mayores expectativas como fue en su día el acceso a Internet, la telefonía móvil y ahora la IA 

Sin embargo, la impresión a vista de dron es que las históricas Telecos son eso que está detrás del objeto o servicio que deseo, llamale iPhone o IA, esperándose de ellos que funcionen sin latencia y ofrezcan la tarifa más barata posible de conexión (en España, Digi ofrece conexiones de fibra de 500 megas por 10 euros al mes!! (unos 11 dólares)

Y eso que estamos hablando de un sector cuyos ingresos globales (revenue) superan el billón (trillion) de dólares anuales, aunque con crecimientos modestos de menos del 3% y atrapados por esa cultura de la tarifa plana que ancla sus ingresos por cliente (ARPU), en niveles demasiado modestos (el ARPU global de las redes móviles ronda los 6 dólares al mes!)

Por eso, he levantado la mirada cuando he visto que T-Mobile en los US ofrece un servicio gratuito de traducción  simultánea en llamadas de voz en 50 idiomas, solo para clientes de la operadora y solo en los US

Bueno, es cierto que los fabricantes de móviles hace tiempo que ofrecen este servicio en sus app´s, pero es la primera vez que lo veo como un servicio de valor añadido dentro de la propia red. Es curioso porque soy consciente de que las Telecoms hace años que usan la IA o algún tipo de software específico (en la etapa pre-IA) para la gestión de su propia red, pero poco o casi nada ha aflorado hacia el cliente final en forma de nuevo servicio y no solo en su mejora  

El nuevo escenario de hiperescaladores y desarrolladores de modelos IA se parece al de la etapa web de Internet, donde estos ofrecen los servicios estelares y básicos, pero las telecoms poseen la conexión final con el cliente. Lo que pasó aquellos años web lo sabemos de sobra, pero en la actual etapa IA, ¿las cosas podrían ser algo diferentes?

Si los modelos fundacionales de IA se vuelven commodities antes de que alguien de con la tecla de convertirlos en productos con valor añadido, las telecoms tienen un margen de tiempo para incorporar servicios nuevos o mejorados con IA, sin que el cliente sienta la necesidad de acudir al display de los que ahora lideran la IA 

IA la nueva ENG: un escenario posible para periodistas

Hasta bien entrada la década de los 70´s los canales de TV utilizaban cámaras de cine, de 16 mm, para grabar sus noticias, y cuando volvían a sus redacciones los rollos de película necesitaba un proceso que no duraba menos de 1 hora para poder ser emitidas (he conocido a técnicos jubilados que se dedicaron precisamente a eso) 

Como el sistema era laborioso, ya a finales de los 60´s empezaron a aparecer en el mercado algunos equipos de cámaras electrónicas de video, como el Portapack de Sony, que incluían algo parecido a un grabador portatil, pero que eliminaron el paso intermedio en el procesamiento de la imagen grabada,. A partir de entonces los departamentos y los equipos de noticias pasaron a denominarse Electronic News Gatherig (ENG)

El proceso informativo quedó por tanto estandarizado de este modo: el reportero con la video camera grababa lo que el periodista, más o menos, le indicaba y luego en el estudio este supervisaba la edición del video final. Con el añadido del audio y el texto del periodista que le daba su sello personal. Bueno así nos educamos muchos, y creedme muchos siguen aprendiendo este modelo

¿El problema? pues nada nuevo más que la irrupción de una nueva tecnología que permite eliminar (no siempre, no del todo) una parte de este proceso. Me refiero, claro, a la IA, que además de la conocida ayuda en la labor periodística (búsqueda de información, creación rápida de resúmenes, etc) resulta que también empieza a sustituir la "sagrada" tarea de escribir las noticias, dejando al periodista con la tarea de ir al sitio donde se produce el hecho informativo 

¿Anatema para la tribu periodística? 

Os cuento un pequeño caso de estudio del Cleveland Plain Leader, un diario del norte de Ohio que ha empezado a emplear IA para redactar noticias que luego finalmente supervisa un periodista. Esto significa que el periodista se dedica fundamentalmente al reportaje en la calle y con ese material en bruto la IA escribe un primer borrador de la noticia, todo un desplazamiento en el flujo de trabajo (workflow) informativo, que como os podeis imaginar no agrada a todos

Precisamente este caso me llegó por un artículo del editor del Cleveland Plain en el que se quejaba de que las escuelas de periodismo estan enseñado el miedo a la IA, en vez de verla como otra etapa del news ghatering, literalmente captación y recopilación de noticias

¿Que es un periodista que supervisa lo que ha escrito un modelo de IA, pero no ha escrito él? pues eso, un profesional de acción, precisamente en aquel lugar donde NO puede ser sustituido por ninguna tecnología que conozcamos hasta ahora 

¿Se pierde este toque de estilo personal en la escritura de una noticia? pues quiero imaginar que en algunas noticias si y en otras donde la audiencia valora ese toque personal NO.  Y mientras la industria se adapta a lo que hay no la que hubo 

La evolución del engagement, videos cortos y esas personas que NO son como nosotros

Cuando se analizan las tendencias de la industria del entretenimiento, hay algo que parece repetirse: hay mucha banalización en la oferta y con la ola reciclada de influencers da la impresión que la gente se entretiene con cualquier cosa que sea nueva (olvidate de original o innovadora)

Sin embargo yo creo que es justo al revés: es muy difícil entretener a alguien y mantenerlo fielmente pegado a tu producto olvidándose (casi) del todo del coste de oportunidad de lo que deja de hacer. 

Es decir, que a mi la vida de Alix Earle me puede importar poco o nada, pero tener regularmente al corriente a +8 millones de followers en TikTok e incluso convencer a alguien o a muchos que de su página de favoritos de Amazon se pueden sacar idea para regalos, es literalmente muy difícil 

Del mismo modo el consumo compulsivo de videos cortos verticales, formato que aupó a su trono de atención a TikTok y ahora cada vez más a YouTube señala una tendencia que va mucho más alla de la miniaturización del producto audiovisual, ya que apunta a la misma naturaleza del engagement

La métrica básica del engagement en video es el tiempo de consumo (ya sabes, más tiempo = más engagement) y aunque es un dato que sigue pesando, por ejemplo Netflix elabora sus rankings en base a la cantidad de horas vistas de cada video, la renacida popularidad de los videos cortos verticales esta obligando incluso a las plataformas Premiun a considerar el engagement bajo la métrica de la frecuencia (no cuantas horas sino cuantas veces lo ves) 

¿Vale lo mismo ver un capítulo de una serie de 1 hora, que ver 80 videos cortos verticales en 1 hora?. 

Si se entiende esto se comprende el magnetismo de TikTok y porque la propia Netflix produce un reality con la citada Alix Earle o porque los estudios de Hollywood quieren entrar en este mercado de las píldoras verticales bien enlazadas con el aditivo imprescindible de un algoritmo programado para que piense como tu (debilidades y fortalezas) 

A medida que Internet se hace viejo hay muchos conceptos a revisar  y ese de que a la gente le gusta ver a otros como ellos, me parece que es para repensarlo. Hollywood y antes los estudios en NY lo aprendieron en la época del cine mudo: personas en las que te puedes proyectar como si las vieras tu solo pero que NI por asomo son como tu...

Destilación algo más que un proceso: la encrucijada en modelos IA

No me cabe ninguna duda del profundo, duradero y diversificado impacto que va a tener la IA, lo que me obliga (y agradezco) a seguir este apasionante viaje del que saldrá otro sociedad-mercado-cultura

Lo que si tengo dudas razonables es del modelo económico, que hasta el momento, sustenta a las empresas de IA. Hay demasiados puntos de fuga en lo que muchas veces parece un modelo de subvención cruzada (te compro chips y tu inviertes en mi empresa) , un nuevo player en el mercado publicitario o un ensayo previo a la espera de lanzar un producto IA que nos convenza de reemplazar todos o parte de los dispositivos que poseemos

Hace un año la china Deepseek lanzo un modelo LLM (R1) que cuestionó esto precisamente: si la carrera hacia más capacidad de computación, más data centers, más inversión (+Capex !!) era el mejor camino para popularizar la IA como la commodity universal del conocimiento 

En esencia y simplificando bastante: Deepseek aparentemente logró acercarse mucho a los modelos de OpenAI, pero con un coste que no superaba los 294.000 US$, usando los chips H-800 que US permite vender a China, una cantidad que debe ser lo que se gasta una de estas empresas en catering 

Semilovidado ya este más que significativo contratiempo y con las previsiones de inversión en niveles de ficción sin ciencia, ahora nos enteramos que OpenAI presentó ayer una queja-memorándum al Comite que supervisa las (dificiles) relaciones entre los US y el Partido Comunista chino, señalado que Deepseek se está aprovechando de los modelos que ellos desarrollan  

Aparentemente Deepseek estaría utilizando un conocido proceso en el desarrollo de modelos LLM llamado destilación (distillation) que permite crear modelos más pequeños pero que sirven para tareas nicho (como traducir documentos) 

La técnica es relativamente sencilla, a partir de un modelo llamado Profesor se trasfiere su conocimiento a otro más pequeño llamado estudiante, de modo que este último ofrece resultados comparables al primero, pero claro a un coste mucho menor

¿El problema? de donde sacas el Teacher, que es la queja de OpenAI,  o sea, que según ellos Deepseek está utilizando sus modelos sin permiso ninguno para entrenar a su modelo estudiante, lo que es una forma descarada de plagio 

Hablar de plagio en un desarrollador de LLM parece una broma, porque todo lo que se ha podido usar como datos de entrenamiento se ha usado hasta que alguien ha puesto una demanda. Lo que no niega la denuncia que hace OpenAI, pero también nos hace pensar si con modelos más pequeños destilados no se podría hacer el 80% de las tareas que se hacen actualmente con la IA, lo que nuevamente cuestiona la rueda especulativa 

Si es entretenimiento no es adictivo: insisto, no somos social media

Quien iba a imaginar que el ocaso de los social media (mal llamados redes sociales en español) iba a venir de parte de las mismas empresas que los ofrecen, que ahora huyen de esa etiqueta cada vez que tienen ocasión judicial (léase, les conviene) 

La etiquetas y denominaciones casi nunca responden a la verdadera naturaleza de un negocio o de un producto, pero oye...si te ayudan a incrementar las ventas durante un periodo que siempre sabemos que es efímero, pues asi se queda 

¿Que está pasando ahora? bueno, la menuda pero activa manada de padres airados (cabreados) cuyos hijos están más pendientes de su cuenta en un social media que del resto de actividades en su vida de esas que cuentan mucho, le han dado la vuelta al relato, siempre en el aire , de que estar en los social media es lo moderno y que en realidad es una nueva forma de socialización virtual que los boomers y demás tribus avejentadas no entendemos (!)

Ha pasado ya varias veces, pero la última esta misma semana en nuevo juicio en Los Angeles (California) cuando el abogado que representa a YouTube en una demanda presentada por causar problemas de adicción, afirmó que su cliente (YouTube) no es Social Media, sino una plataforma de entretenimiento más parecida a Netflix que a otra cosa 

Es verdad que los abogados son eso, especialistas en cambiar el nombre y la perspectiva de las cosas para que su cliente parezca inocente, pero es que esta vez creo que tiene razón. YouTube es más la TV del siglo XXI que un sitio donde el objetivo sea publicar para contactar o contactar simplemente (definición de social media/medios sociales)

YouTube crea una red de usuarios, cierto, pero NO es su objetivo, ni siquiera creo que saque mucho dinero con eso. YouTube quiere lo mismo que las cadenas de TV y plataformas de streaming, que mucha gente les vea mucho tiempo (engagement le llaman), lo que atrae a los anunciantes y evita la tentación de darse de baja a sus usuarios de pago

El resultado a día de hoy, los discursos cambian!, es que si eres social media eres un tragaperras adictivo, pero si eres simplemente entretenimiento pues eso, eres el caramelo que distrae y si te crees que eres un superhéroe a lo Marvel, pues eso es tu problema no el nuestro 

Negocios más complejos no mas simples: la norma es tendencia

Existe un pensamiento gravitatorio actual y nada sutil en sus manifestaciones, de que con la IA y su irreversible desarrollo e implantación vamos hacia una simplificación de todos los procesos, de todas las organizaciones y de todos los negocios 

Es un análisis a priori no desdeñable, aunque implica una Revolución (con mayúsculas), o sea un cambio abrupto de tendencia, algo que hemos visto sí, pero muy pocas veces, a pesar de la machacona repetición de muchos de los que escriben ( y los que lo repiten sin escribir nada) sobre la aparición de revoluciones cada vez que sale una tecnología nueva o un producto novedoso 

Ahora  bien, si nos fijamos en cómo han ido las cosas hasta ahora, me temo que la respuesta es no. En el periodo, realmente corto, de los últimos 30 años o años Internet, cada negocio, cada empresa, cada servicio se ha ido haciendo más complejo, añadiendo capas que antes o eran inusuales o directamente no existían

Como afirma el lúcido Sinofsky, piensa en cómo era por ejemplo la banca en 1995 y en lo que se ha convertido ahora, con un cúmulo (stack) de nuevos servicios y de antiguos pero reconfigurados (casi) del todo o en lo que era el comercio en los albores del ecommerce y en la compleja y creciente pila de procesos que actualmente gestiona un retailer convencional

La conclusión preliminar es que cada vez que ha aparecido una nueva tecnología, los negocios se han hecho más complejos y de mayor magnitud, ya que ofrecer simplicidad al cliente siempre requiere un elevado grado de complejidad backdoor (¿pensaba Amazon en AWS en 1995?)

El streamline que promete y poco a poco demuestra la IA es y será compatible con nuevos procesos, tareas y productos que solo algunos por el momento pueden imaginar, y es que las empresas siempre se mueven y reestructuran moviendo activos. Y por el momento no hemos visto otra cosa....