Qué es un LLM y cómo funciona la IA generativa

Cuando escribes algo en ChatGPT, Claude o cualquier otro asistente de IA y te responde con una frase coherente, no hay ninguna "base de datos" buscando la respuesta perfecta. Hay un modelo matemático gigante que, letra a letra, calcula cuál es la palabra más probable que viene a continuación, dado todo lo que se ha escrito antes. A eso se le llama LLM: Large Language Model, o Modelo de Lenguaje Grande.

Suena simple dicho así, y en el fondo lo es: la idea central de un LLM es "predicción de la siguiente palabra". Pero para predecir bien necesitas haber visto muchísimo texto antes. Los modelos actuales se entrenan con billones de palabras — libros, webs, código, conversaciones — y durante ese entrenamiento van ajustando miles de millones de números internos (los "parámetros") hasta que sus predicciones dejan de ser aleatorias y empiezan a parecer razonamiento.

La pieza clave se llama Transformer, una arquitectura presentada por Google en 2017 en un paper con un título memorable: "Attention Is All You Need". Antes de los Transformers, los modelos de lenguaje leían el texto palabra por palabra, en orden, y se les olvidaba fácilmente lo que habían leído al principio de una frase larga.

Los Transformers introdujeron un mecanismo llamado atención (attention), que le permite al modelo mirar TODAS las palabras de la frase a la vez y decidir cuáles son relevantes entre sí, sin importar lo lejos que estén. Es lo que le permite a un modelo entender que en "el perro que vimos ayer en el parque no paraba de ladrar", el sujeto de "ladrar" es "el perro", aunque haya quince palabras de por medio.

Entrenar uno de estos modelos pasa, a grandes rasgos, por dos fases. La primera es el preentrenamiento: el modelo lee cantidades absurdas de texto e intenta predecir la palabra siguiente una y otra vez, millones de veces, ajustando sus parámetros cada vez que falla. Esta fase es la que le da al modelo su conocimiento general del mundo, del lenguaje, de cómo se escribe código, de historia, de lo que sea que hubiera en esos datos.

La segunda fase es el ajuste fino (fine-tuning), donde se le enseña específicamente a comportarse como un asistente: a seguir instrucciones, a ser útil, a no soltar barbaridades. Aquí es donde entra el RLHF (Reinforcement Learning from Human Feedback) — personas reales puntúan respuestas del modelo, y esas puntuaciones se usan para reforzar los comportamientos buenos y penalizar los malos.

Un punto que sorprende a mucha gente: el modelo no "sabe" nada en el sentido de tener una base de datos consultable. Todo lo que "sabe" está comprimido de forma difusa en esos parámetros numéricos, de la misma forma que tu cerebro no guarda un archivo de texto con cada conversación que has tenido, sino patrones.

Esto explica dos cosas a la vez: por qué un LLM puede generalizar y responder a preguntas que nunca vio exactamente igual en su entrenamiento, y por qué a veces "alucina" — inventa datos con total seguridad porque, técnicamente, solo está prediciendo la palabra más plausible, no consultando un hecho verificado. Por eso existen técnicas complementarias como el uso de herramientas (que el modelo pueda ejecutar una calculadora real, o buscar en internet) o el RAG (Retrieval-Augmented Generation), que consiste en darle al modelo documentos reales como contexto antes de preguntarle, para que no tenga que "recordar" el dato, sino leerlo ahí mismo.

El tamaño del modelo (cuántos parámetros tiene) importa, pero no es lo único. Modelos más grandes suelen ser más capaces, pero también más caros y lentos de ejecutar. Por eso en los últimos años ha habido una carrera paralela por hacer modelos más pequeños y eficientes que rindan casi igual de bien que los gigantes — es la diferencia entre un modelo que necesita un centro de datos entero y uno que puede correr en tu propio ordenador, que es precisamente la idea detrás del apartado de IA local que estoy preparando para esta web.

Si te dedicas a construir cosas con IA (o quieres empezar), la parte práctica que de verdad importa no es entender la matemática de las matrices de atención, sino entender estas ideas: los modelos predicen, no recuerdan; hay que darles contexto real si necesitas precisión; y cuanto más claro y específico seas en lo que les pides, mejor va a ser lo que te devuelvan. El resto es curiosidad — pero ayuda a perder el miedo a la "caja negra".