Espacio por recorrer y estado real rendimiento en LLM´s: último examen de la humanidad

A la hora de evaluar con cierta seriedad el nivel de rendimiento de los LLM tenemos dos vias de divergente fiabilidad: 

una, leer artículos más o menos divulgativos o incluso informes producidos por las propias empresas que  desarrollan los modelos y que lógicamente los usan más como herramienta de marketing que como un análisis neutral de su verdadera precisión 

la segunda es recurrir a los benchmark o comparativas de rendimiento como MMLU , que es la que generalmente vemos más citada cuando aparece una versión nueva de un modelo LLM, y que es bastante atractiva (clickbait) cuando se quiere impresionar sobre lo lejos que han llegado los bots que procesan lenguaje 

el problema con estos benchmark es que la mayoría  de ellos están ya cerca de la saturación, es decir que las mediciones que ofrecen sobre los modelos más conocidos, como GPT o Claude se acercan a rendimientos del 90%, lo que no deja demasiado espacio para una mejora o si lo prefieres nos ofrecen la impresión de que la IA sabelotodo (aka AGI) está a unos meses de distancia

Para poner las cosas en un su lugar o añadir algo de claridad, el CAIS, una organización no lucrativa de San Francisco y Scale una empresa que ofrece datos etiquetados digamos de calidad para entrenar modelos de IA han desarrollado un nuevo  benchmark llamado pomposamente El ultimo examen de la humabidad (LHE en inglés) para evaluar la precisión real ante preguntas complejas 

Los resultados de este test LHE dejan a los LLM en niveles cercanos al 10% de precisión a la hora de responder a test de 3000 preguntas de un centenar de temáticas, lo que nos aleja bastante del optimismo divulgado sobre estos modelos de apenas 2 años de antigüedad 

Los propios análisis del LHE no obstante advierten que seria plausible que los LLM alcanzaran un 50% de precisión al final en este mismo año, basandose en datos sobre su progresión, con un importante matiz añadido:

Aunque un LLM alcanzara el 100% de precisión en el LHE eso no significaría que la AI ha alcanzado la Inteligencia General ni que no se necesiten otras mediciones adicionales de rendimiento  ...

Inteligencia, aunque sea Artificial : Floods in Spain

Los estériles pero entretenidos debates sobre lo lejos o cerca que estamos de que algún modelo de Inteligencia Artificial traspase la barrera de la tarea concreta y se convierta en una Inteligencia General (AGI) ha recobrado un inesperado interés con las graves inundaciones del Levante español

Teniendo en cuenta que España es de facto un Estado Federal donde conviven (por decir algo!) diferentes gobiernos de signos opuestos parece normal que se produzcan pugnas sobre decisiones que implican a más de una administración

Lo que no nos esperábamos como europeos del siglo XXI (ya sabes 5G, IA, esperanza de vida etc) es la dilación a la hora de actuar o al menos la sospecha de que las decisiones sobre como y donde actuar no se tomaron a velocidad real debido a la pugna entre políticos

La cuestión que me ronda la cabeza es que hubiera pasado si un sistema de IA hubiera tomado las decisiones de actuar, analizando la evolución de los datos que desde 5 días antes proporcionaba la agencia estatal de meteorología española

La duda a estas alturas nos permite enunciar la hipotesis que un gobierno artificial (o supervisado por humanos) en estos casos podría ser más eficaz que uno de personas dominados por la lógica pulsión del poder

Lo que no cabe duda que a los afectados les daría igual que la decisión de como actuar la hubiera tomado un IA (AI) o una persona con nombre y dos apellidos (lo común en España) si los resultados hubieran sido mejores 

Ahí es donde esta la brecha por donde la IA puede remplazarnos alguna vez, no en lo bien que lo haga,  sino en lo mal que lo hacemos nosotros o lo que tardamos en darnos cuenta de lo mal que lo hacemos...

Se convence con la utilidad NO con la importancia: IA y el tiempo empresarial

Silicon Valley pasará a la historia como uno de los clusters narrativos más importantes de la historia contemporánea  o al menos de este quinto subperiodo que llamamos Revolución de las Tecnologías de la Comunicación (ICT)

Las metáforas generadas en el Silicon se expanden más rápido y más lejos que las tecnologías que producen, lo que con toda seguridad allanó el camino para que posteriormente muchas empresas que supieron leer el cambio de mentalidad de muchas personas, instituciones y empresas, vendieran sus productos bajo el dilema veladamente formulado de ahora o nunca o esta tecnología es todo 

Con la actual IA-AI pasa lo mismo, decididamente para los desarrolladores de sistemas AI esta es demasiado importante para estar ausente o no integrarla en los procesos empresariales, pero pese a este optimismo determinista las empresas grandes y pequeñas se están tomando su tiempo (recordad que hay tiempo real y que los ingresos se rigen por esta medida no por el tech time)

OpenAI la empresa estandarte (realmente no se si líder) de esta ultima ola tech de la IA es un buen caso de estudio para analizar las paradojas de este brecha cultural entre la tecnología que es demasiado importante y lo que las empresas consideran que es útil para su negocio principal (core business) 

Que OpenAI llegue a un acuerdo con PWC, una de las grandes consultoras, para que 100.000 de sus empleados utilicen la versión empresarial (y de pago claro) de su ChatGPT y actúen como agentes de venta para sus propios clientes nos indica al menos que el producto NO se vende solo, aunque su versión empresarial tenga 600.000 usuarios, según la propia OpenAI

Sabemos que más o menos ChatGPT tiene 180 millones de usuarios en el mundo, pero también algunas fuentes dicen que la mitad de los usuarios lo usan una vez y no vuelven, lo que es coherente con la visión de que la existencia y pertinencia de la IA ha llegado a muchos pero muchos también lo encuentran todavía curioso pero poco útil para su actividad o al menos para abandonar definitivamente las poderosas herramientas que tenemos y con eso me refiero fundamentalmente a Google que hace años que es más oráculo que buscador web

¿Estaremos cayendo otra vez en la Ley de Amara? es decir ¿sobrestimamos a corto y subestimamos a largo las nuevas tecnologías como la IA generativa ? 

Presiento que hay mucho o algo de esto, pero también que la verdadera carrera a la que estamos asistiendo no es por la AGI sino por ver quien coloca más productos empaquetados en el mercado antes de que la IA se vuelva (casi) definitivamente una mercancía (commodity) que cualquiera desarrolla en su empresa o lo integra en sus productos como una característica más que los clientes dan por descontado 

Los humanoides de Figure : ¿una interfaz más amable hacia la AGI?

A pesar de que los robots son hace mucho mi hardware favorito, soy (bastante) cauto a la hora de avalar apocalípticas predicciones sobre el fin del trabajo o que tal o cual empresa está a punto de fabricar el robot definitivo que nos liberará (o esclavizará)

Pero, quizá sirviendo de precedente, me fijo en la más que llamativa financiación, sobre todo por quien ha invertido, de Figure la empresa robótica californiana que nació hace apenas un par de años. 

Jeff Bezos, la propia Amazon. OpenAI, Intel Capital y Microsoft todos ellos han coincidido en que merece la pena arriesgar 675 millones US$ en Figure, lo que empuja su valoración inicial hasta los 2600 millones US$

Figure fábrica humanoides como el que veis en la foto o en este video, y desde luego no es el valor añadido de esta empresa sino precisamente su convergencia y/o sinergia con la IA en el sentido de que la propuesta de Figure es que estos robots podrían ser la interfaz menos atemorizante con la que aceptaríamos una AGI o Inteligencia Artificial General que teóricamente puede hacer todo lo que nosotros hacemos 

Como (casi) todos saben, los robots que llevamos décadas empleando son sobre todo máquinas muy especializadas en una sola tarea o rango de tareas, y más que llamar la atención pasan desapercibidos por su mimetismo con el resto de la maquinaria empleada, pero los humanoides y más con Inteligencia (siempre entendemos que Artificial) General no es que sean escasos es que literalmente no existen al menos de momento 

¿Y qué tiene de diferente Figure para que pueda dar este salto que es más cultural que tecnológico?

Sin caer en la ingenuidad o en la fascinación por los humanoides, los citados y todos ellos conocidos inversores no creo que estén seguros de que Figure sea la OpenAI de la robótica, pero si saben que los robots van a ser un mercado de +52.000 millones $, con expectativas de doblarse cada 4 años, lo que a mi juicio sí constituye una buena razón para arriesgarse en la inversión  

Segundo, con Trump con Biden o con la UE poniendo multas a cualquier cosa que ellos no inventen,lo cierto es que LA GRAN TENDENCIA no es otra que la falta de mano de obra !!, solo en los US hay 10 millones de empleos sin cubrir de los cuales 1,5 son del sector manufacturero

La incógnita de esta carrera hacia la productividad (realmente no es otra cosa) es si la IA va a poder hacer algo por mejorar la tediosa velocidad a la que todavía trabajan los robots (16% de la velocidad de un empleado medio) y a que velocidad las empresas van a ser capaces de integrar los robots multitarea en su fuerza laboral y es que la robotización (como cualquier fase de automatización) al final es más una cuestión de gestión (management) que de ingeniería

Un humanoide que entienda nuestras órdenes en lenguaje natural al nivel que los hacen los actuales modelos LLM es desde luego un salto importante en la integración hombre-máquina, pero del mismo modo que las alucinaciones en estos modelos son fáciles (y baratas) de remediar (un prompt más preciso) lo cierto es que una de estas desviaciones en un robot podría causar males mayores (y más costosos)

Reinventar el altruismo y las empresas paradigma: OpenAI y las lecciones de Apple Corps

Es difícil sustraerse a la noticia del pasado viernes de que la Junta Directiva de OpenAI destituyó fulminantemente a San Altman, Director Ejecutivo (CEO) y la cara más reconocible de todo este reciente episodio de la IA empoderada a la que seguimos asistiendo 

Que un  CEO se vaya o le boten de una empresa, por grande que sea (véase los recientes cambios en Disney) no es de gran interés a medio plazo,  pero el caso de OpenAI si que es muy diferente precisamente por que no es una empresa convencional y no solo como competidor en el mercado de la IA y derivados 

En  primer lugar hay que recordar que OpenAI sigue siendo una organización sin ánimo de lucro pero con una misión (algo así como una ONG ) lo que en el mundo de la tecnologia no es una rareza, pero si lo es cuando se convierte en líder de un sector por el que se pegan grandes inversores por capitalizar 

No hay que se un analista muy fino para darse cuenta que tarde o temprano los intereses financieros de una organización chocan con el altruismo por nuevo que pretenda ser su formato (altruismo efectivo le llaman)

Ahora que los Beatles vuelven a estar de moda pasajera, los miembros de la Junta directiva de OpenAI y el despedido Altman deberían leer algo sobre la fallida experiencia de los Beatles con Apple , la compañía que fundaron la banda para que los creadores no tuvieran que pasar por el filtro interesado del mercado. En efecto todo acabó en broncas más que conocidas de todo el altruista equipo fundador, entre otras cosas por las enormes pérdidas de muchos proyectos buenistas pero sobre todo por como y quien llevaba las riendas del negocio-no negocio

OpenAI inventó ChatGPT o sea algo que muchos han visto utilidad para que sus productos se vendan más y ha servido de palanca para que dinero amante del riesgo caiga ahora a paladas en (casi) todo lo que pone AI/IA seguido de lo que quieras 

A mi juicio OpenAI se había convertido demasiado rápido en una empresa paradigma (sin serlo realmente) y en espíritu de este época tan turbulenta como todas las anteriores, lo que supuso una prematura presión por obtener resultados en su misión de crear una Inteligencia Artificial General (AGI) que nos venza en (casi) todo, a pesar de que esto no se alcance nunca o al menos esté mucho más lejos de lo que los inversores (estos si, reales) esperaban 

Es curioso como todas las generaciones tendemos a desdeñar las enseñanzas del pasado. No hay un altruismo nuevo (ganar mucho para donar mucho) por que al final o te centras en ganar (a mi juicio lo que Altman hacia) o te centras en pensar cómo mejorar el mundo y alrededores con tu tecnología 

No es el fin de la AI como tampoco era su principio el ChatGPT.  Volvemos al terreno de juego de hace poco más de un año con las grandes empresas tecnológicas que dominan el mercado actual y su competición por diversificar sus productos con el ingrediente de la IA.....